巨頭涌入TinyML賽道：邊緣AI即將迎來新爆發(fā)

“TinyML將在未來10年成為MCU市場的最大推動力。未來五年內(nèi)，公司5億個MCU將運行某種形式的TinyML 或AI工作負(fù)載。”意法半導(dǎo)體微控制器和數(shù)字IC事業(yè)部總裁Remi El-Ouazzane曾經(jīng)這樣說道。

TinyML（Tiny Machine Learning）是一種在資源受限的微控制器和邊緣設(shè)備上運行機(jī)器學(xué)習(xí)模型的技術(shù)。目標(biāo)是在低功耗、低內(nèi)存和低計算資源的設(shè)備上實現(xiàn)高效的機(jī)器學(xué)習(xí)算法，以支持實時數(shù)據(jù)處理和決策。它們的功能雖然不如大型語言模型（LLM）那樣通用，但在特定任務(wù)上表現(xiàn)出色，例如通過圖像識別植物病害，準(zhǔn)確率可達(dá)95%~99%。

用人話解釋，就是“小而強(qiáng)”的機(jī)器學(xué)習(xí)，力求能在MCU之類低功耗設(shè)備上運行。因為MCU沒有DRAM，沒有操作系統(tǒng)（OS），并且嚴(yán)格的內(nèi)存限制（SRAM小于256kB，F(xiàn)LASH為只讀）。

用一組數(shù)據(jù)也能解釋TinyML的重要性：TinyML每臺設(shè)備（包括傳感器）的成本為2美元~60美元，每臺設(shè)備的平均功耗≤1~100毫瓦；而LLM每顆AI芯片平均成本20K~70K美元，需要數(shù)萬顆芯片，每顆AI芯片的平均功耗700~1200瓦。

近年來，巨頭們紛紛押注TinyML。隨著AI技術(shù)進(jìn)一步發(fā)展，這一市場正在逐漸爆發(fā)。

巨頭押注TinyML

目前，比較出名的TinyML或者AutoML包括SensiML、Stream Analyze、Qeexo AutoML、NanoEdge AI Studio、Imagimob（英飛凌收購）、Reality AI（瑞薩收購）、Neuton.ai（Nordic收購）、Edge Impulse（高通收購）、eIQ ML（NXP）等，很多MCU廠商都選擇與這些廠商合作，提供完整的邊緣AI解決方案。

當(dāng)然，為了補全自己的邊緣AI版圖，其中不乏許多收購：2022 年 7 月，瑞薩電子收購嵌入式AI和TinyML解決方案優(yōu)秀供應(yīng)商Reality Analytics, Inc.（Reality AI），成為了瑞薩電子的間接全資子公司；2023年5月，英飛凌宣布已收購位于斯德哥爾摩的TinyML和AutoML初創(chuàng)企業(yè)Imagimob。

而今年，隨著AI進(jìn)一步火熱，加上Agentic AI（自主智能體AI）在邊緣端興起，廠商開始加快對于TinyML的投入力度。迄今為止，共有三樁收購案值得關(guān)注：

今年3月，高通（Qualcomm）宣布將收購邊緣AI開發(fā)平臺Edge Impulse，希望此舉能擴(kuò)展其對支持IoT的產(chǎn)品的AI能力。

Edge Impulse在TinyML領(lǐng)域的地位不可小覷。Edge Impulse 的開發(fā)平臺包括用于數(shù)據(jù)收集和準(zhǔn)備、模型訓(xùn)練、部署和監(jiān)控的工具，具有少量代碼或無代碼界面。開發(fā)人員使用 Edge Impulse 的平臺將計算機(jī)視覺、時間序列數(shù)據(jù)、音頻事件和語音識別等 AI 功能添加到資產(chǎn)跟蹤和監(jiān)控、制造、異常檢測和預(yù)測性維護(hù)系統(tǒng)中的嵌入式系統(tǒng)中。

今年4月，意法半導(dǎo)體（ST）收購加拿大AutoML初創(chuàng)公司Deeplite。Deeplite號稱邊緣AI的DeepSeek，該公司在模型優(yōu)化、量化和壓縮方面有獨特技術(shù)，可使AI大模型在邊緣設(shè)備上運行得更快、更小、更節(jié)能。

6月17日，在收購AI硬件IP初創(chuàng)公司Atlazo兩年后，Nordic Semiconductor收購了 Neuton.ai，這是一家用于微控制器級AI的TinyML工具公司。Neuton的技術(shù)為時間序列數(shù)據(jù)應(yīng)用程序開發(fā)了特定于應(yīng)用程序的神經(jīng)網(wǎng)絡(luò)算法，該算法比傳統(tǒng)神經(jīng)網(wǎng)絡(luò)方法小10倍之多。通過將 Nordic 的 nRF54 系列超低功耗無線 SoC 與 Neuton 的神經(jīng)網(wǎng)絡(luò)框架相結(jié)合，現(xiàn)在可以為資源最受限的設(shè)備帶來可擴(kuò)展的高性能 AI。

Neuton是Edge Impulse的競爭對手，目前已經(jīng)與北歐競爭對手合作，包括 ST 和Silicon Labs。雖然目前Neuton沒有終止任何客戶合作的計劃，但計劃在未來專注于Nordic硬件。

隨著廠商補全自己的軟件算法層面的方案，市場更加熱鬧了。

TinyML的現(xiàn)在和未來

“TinyML將使AI無處不在。”這是Science一篇文章所說的話。

TinyML是機(jī)器學(xué)習(xí) (ML) 領(lǐng)域的一個分支，專注于在資源極其有限的設(shè)備上運行AI模型，例如物聯(lián)網(wǎng) (IoT) 設(shè)備和微控制器 (MCU)。這些設(shè)備通常只有幾百KB內(nèi)存，沒有操作系統(tǒng)，并且處理能力遠(yuǎn)低于智能手機(jī)或云計算服務(wù)器。TinyML 帶來了多項關(guān)鍵優(yōu)勢，包括成本效益、低功耗、實時響應(yīng)、數(shù)據(jù)隱私、無需網(wǎng)絡(luò)連接。

目前，TinyML和AI大模型一樣，主要關(guān)注推理和訓(xùn)練兩個方向。

推理方面，近年來，TinyML及其在MCU上的深度學(xué)習(xí)應(yīng)用飛速發(fā)展，不過對于TinyML來說，也有挑戰(zhàn)，主要在于內(nèi)存和計算性能的局限性上。例如，一款常見的MCU可能僅有數(shù)百KB的SRAM（用于讀寫數(shù)據(jù)）和1MB的閃存（用于存儲模型），同時處理器速度也遠(yuǎn)低于普通電腦。為了克服這些限制，研究人員提出了多種解決方案，主要分為算法優(yōu)化和系統(tǒng)優(yōu)化兩大類。

算法解決方案常見的方法包括模型壓縮（通過剪枝、量化和張量分解來減小模型大小）、知識蒸餾（和DeepSeek類似，用教師模型轉(zhuǎn)移給小型學(xué)生模型）、網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計、神經(jīng)架構(gòu)搜索（NAS，例如TinyNAS和MicroNets）、統(tǒng)一設(shè)計搜索空間（UDC）。

系統(tǒng)解決方案側(cè)重于優(yōu)化部署和運行環(huán)境，以適應(yīng)MCU硬件限制。主流的深度學(xué)習(xí)框架（如 PyTorch、TensorFlow）因其龐大的運行時開銷而不適用于 MCU，因此出現(xiàn)了專門針對微控制器的輕量級框架和技術(shù)：

• 優(yōu)化內(nèi)核庫：如CMSIS-NN和X-Cube-AI，提供針對ARM Cortex-M處理器優(yōu)化的深度學(xué)習(xí)運算內(nèi)核，以提高速度、減少內(nèi)存占用和提高能效；

• 輕量級運行時系統(tǒng)：TensorFlow-Lite Micro (TF-Lite Micro) 是最早支持裸機(jī)MCU的深度學(xué)習(xí)框架之一。TinyEngine（MCUNet的一部分）則將大部分操作從運行時轉(zhuǎn)移到編譯時，并優(yōu)化整體網(wǎng)絡(luò)內(nèi)存調(diào)度；

• 編譯技術(shù)：通過優(yōu)化循環(huán)嵌套、重新排序操作執(zhí)行或臨時交換數(shù)據(jù)來減少內(nèi)存需求；

• 混合精度內(nèi)核庫：如CMix-NN，支持混合精度量化，進(jìn)一步減少內(nèi)存占用；

• 逐塊推理調(diào)度：MCUNetV2提出的通用逐塊推理調(diào)度，使得高分辨率輸入在MCU上成為可能，通過分塊處理顯著減少峰值內(nèi)存使用；

• 內(nèi)存擴(kuò)展：TinyOps結(jié)合快速內(nèi)部存儲器和慢速外部存儲器，通過直接存儲器訪問 (DMA) 擴(kuò)大內(nèi)存并加速推理；

• 簡潔的推理內(nèi)核庫：TinyMaix專注于提供優(yōu)化且易于理解的推理內(nèi)核庫。

訓(xùn)練方面，在小型設(shè)備上直接進(jìn)行模型訓(xùn)練日益受到關(guān)注。設(shè)備上訓(xùn)練能提供個性化服務(wù)并保護(hù)用戶隱私，因為數(shù)據(jù)無需上傳到云端。然而，訓(xùn)練比推理更具挑戰(zhàn)性，因為它需要存儲中間激活和梯度，對內(nèi)存和計算操作的要求更高。

研究人員正積極探索減少訓(xùn)練內(nèi)存占用的方法，包括輕量級網(wǎng)絡(luò)設(shè)計與NAS、內(nèi)存與計算的權(quán)衡、分層訓(xùn)練、激活剪枝、優(yōu)化器與量化。

近期，多項研究致力于在MCU上實現(xiàn)更高效的設(shè)備上訓(xùn)練，包括Tiny-Transfer-Learning、TinyOL、POET (Private Optimal Energy Training)、MiniLearn、MCUNetV3。

TinyML未來大有可為

全球邊緣AI市場預(yù)計將實現(xiàn)顯著增長，這預(yù)示著TinyML在未來十年將扮演越來越重要的角色。根據(jù)預(yù)測，全球邊緣AI市場規(guī)模將從2023年的190億美元增至2033年的約1630 億美元。

目前來看，推動TinyML發(fā)展的核心要素包括幾個：第一，MCU硬件性能越來越強(qiáng)大，存儲空間越來越大，為TinyML提供更強(qiáng)大的基礎(chǔ)；第二，MCU廠商和第三方廠商在關(guān)鍵工具上優(yōu)化越來越多，更容易使用；第三，NPU在MCU中開始興起，加強(qiáng)了TinyML的發(fā)展；第四，如量化、剪枝之類的AI模型壓縮技術(shù)不斷在發(fā)展；第五，MLOps（機(jī)器學(xué)習(xí)運維）等工具的進(jìn)步，使得在云端訓(xùn)練的模型能夠更快、更高效地部署到TinyML硬件上，從而縮短了價值實現(xiàn)時間，幫助項目突破概念驗證（PoC）階段。

當(dāng)然，盡管前景廣闊，TinyML市場的發(fā)展也面臨一些障礙，其中之一是IoT設(shè)備的生命周期。對于那些生命周期長達(dá)五年或更長的現(xiàn)有IoT項目，尤其是在工業(yè)領(lǐng)域，將TinyML整合為一種良好且自然的解決方案可能比想象中更具挑戰(zhàn)性。

由于TinyML應(yīng)用多元性和高度定制化需求，僅僅依靠原廠完成所有開發(fā)是困難的。對具體應(yīng)用場域的深刻理解（Know-how），是推動TinyM 落地的關(guān)鍵。這些領(lǐng)域知識通常掌握在電子行業(yè)之外的專業(yè)人士手中，且因地域不同而千差萬別。因此，提供開源平臺變得尤為重要。

目前，TinyML的先驅(qū)SensiML已經(jīng)開源了自己的工具。SensiML Analytics Toolkit 提供了一個端到端的開發(fā)平臺，涵蓋數(shù)據(jù)收集、標(biāo)記、算法和固件自動生成及測試，通過獨特的數(shù)據(jù)收集和標(biāo)記方法解決了人工智能項目中最常見的失敗問題。SensiML提供了最全面的功能，從簡單的點選式用戶界面模型創(chuàng)建到模型構(gòu)建和測試工作流的完整流水線控制。

對于MCU來說，有些場景需要實現(xiàn)的功能非常簡單，AI也許并非一個必選項，這或許會是TinyML的瓶頸之一。此外，讓MCU開發(fā)人員掌握各種AI技能，也會是一個挑戰(zhàn)，相關(guān)人才的建設(shè)也需要很久的時間。

不過，市場趨勢就在這里，也許過些年，這些問題會隨著開發(fā)工具和算法不斷迭代，迎刃而解。

參考文獻(xiàn)

[1]Science：https://www.science.org/content/article/what-s-tinyml-global-south-s-alternative-power-hungry-pricey-ai

[2]J. Lin, L. Zhu, W. -M. Chen, W. -C. Wang and S. Han, "Tiny Machine Learning: Progress and Futures [Feature]," in IEEE Circuits and Systems Magazine, vol. 23, no. 3, pp. 8-34, thirdquarter 2023, doi: 10.1109/MCAS.2023.3302182. keywords: {Deep learning;Training;Adaptation models;Microcontrollers;Memory management;Inference algorithms;Tiny machine learning;Microcontrollers;Machine learning;TinyML;efficient deep learning;on-device training;learning on the edge},

歡迎將我們設(shè)為“星標(biāo)”，這樣才能第一時間收到推送消息。

關(guān)注EEWorld旗下訂閱號：“機(jī)器人開發(fā)圈”

回復(fù)“DS”領(lǐng)取《DeepSeek:從入門到精通》完整版

掃碼添加小助手回復(fù)“機(jī)器人”

進(jìn)群和電子工程師們面對面交流經(jīng)驗