小模型，也是嵌入式的未來(lái)

這兩天，英偉達(dá)一個(gè)最新研究結(jié)論讓業(yè)界備受關(guān)注——小型語(yǔ)言模型（SLM）才是智能體的未來(lái)。緊接著，英偉達(dá)又拋出了自己的全新小型語(yǔ)言模型：Nemotron-Nano-9B-V2，該模型在部分基準(zhǔn)測(cè)試中達(dá)到了同類產(chǎn)品中的最高性能。

事實(shí)上，小型語(yǔ)言模型（SLM）的風(fēng)，也刮到了MCU和MPU領(lǐng)域。

小模型，就是“壓小”的大模型

小型語(yǔ)言模型（SLM）也許我們?cè)缬兴佑|。SLM 的參數(shù)范圍從幾百萬(wàn)到幾十億不等，而 LLM 則具有數(shù)千億甚至數(shù)萬(wàn)億參數(shù)。

SLM是由LLM壓縮而來(lái)，壓縮模型需要在縮小模型的同時(shí)，盡可能保留模型的準(zhǔn)確性。常見(jiàn)方法如下：

• 知識(shí)蒸餾：利用從大型“教師”模型轉(zhuǎn)移的知識(shí)來(lái)訓(xùn)練一個(gè)較小的“學(xué)生”模型；

• 剪枝：移除神經(jīng)網(wǎng)絡(luò)架構(gòu)中冗余或不那么重要的參數(shù)；

• 量化：降低計(jì)算中使用的數(shù)值精度（例如，將浮點(diǎn)數(shù)轉(zhuǎn)換為整數(shù)）。

小型語(yǔ)言模型比大型模型更緊湊、更高效。因此，SLM需要較少的內(nèi)存和計(jì)算能力，非常適合資源受限的邊緣或者嵌入式設(shè)備。

許多小而強(qiáng)大的語(yǔ)言模型已經(jīng)出現(xiàn)，證明大小并非一切。常見(jiàn)的10億到40億的SLM包括Llama3.2-1B（Meta開(kāi)發(fā)的10億參數(shù)變體）、Qwen2.5-1.5B（阿里巴巴的15億參數(shù)模型）、DeepSeeek-R1-1.5B（DeepSeek的15億參數(shù)模型）、SmolLM2-1.7B（HuggingFaceTB，的17億參數(shù)模型）、Phi-3.5-Mini-3.8B（微軟的38億參數(shù)模型）、Gemma3-4B（Google DeepMind的40億參數(shù)模型）。

跑SLM，靠得不光是算力

對(duì)MPU來(lái)說(shuō)，跑SLM，似乎不是什么難題。但對(duì)開(kāi)發(fā)人員來(lái)說(shuō)，如何知道MCU支持是否支持運(yùn)行生成式AI？

這個(gè)問(wèn)題沒(méi)有單一、直接的答案——不過(guò)有一個(gè)硬性要求，即MCU的神經(jīng)處理單元（NPU）必須能夠加速Transformer運(yùn)行。

除此之外，跑生成式AI，對(duì)于MCU的帶寬系統(tǒng)總線以及以及大容量、高速、緊密耦合的內(nèi)存配置有要求。

其實(shí)，現(xiàn)在很多人都去只用GOPS（十億次運(yùn)算每秒）或TOPS（萬(wàn)億次運(yùn)算每秒）來(lái)比較微控制器的原始吞吐量，目前性能最佳的MCU能提供高達(dá)250GOPS的算力，而用于生成式AI的MCU將至少提供兩倍于此的性能。但原始吞吐量并非衡量實(shí)際系統(tǒng)性能的理想指標(biāo)。

因?yàn)槌晒Φ纳墒紸I應(yīng)用程序需要支持Transformer運(yùn)算，會(huì)在系統(tǒng)內(nèi)部、內(nèi)存、神經(jīng)處理單元、中央處理器以及圖像信號(hào)處理器等外圍功能之間傳輸大量數(shù)據(jù)。因此，一個(gè)具有高原始吞吐量的系統(tǒng)理論上或許能快速處理大量數(shù)據(jù)，但如果系統(tǒng)無(wú)法將數(shù)據(jù)快速傳輸給神經(jīng)處理單元，實(shí)際性能就會(huì)十分緩慢，令人失望。

當(dāng)然，對(duì)MPU來(lái)說(shuō)，大帶寬、內(nèi)存、總線之間的緊密耦合也至關(guān)重要。

Aizip與Renesas合作的SLM項(xiàng)目

早在去年8月，Aizip就與Renesas攜手合作，在MPU上展示了用于邊緣系統(tǒng)應(yīng)用的超高效SLM和緊湊型AI Agents，這些小巧而高效的模型已經(jīng)集成到基于 Arm Cortex-A55的Renesas RZ/G2L和RZ/G3S主板中。

Aizip創(chuàng)建了一系列超高效的小型語(yǔ)言模型（SLM）和人工智能代理（AI Agents），名為 Gizmo，規(guī)模從3億到20億個(gè)參數(shù)不等。這些型號(hào)支持多種平臺(tái)，包括適用于廣泛應(yīng)用的 MPU和應(yīng)用處理器。

SLM使設(shè)備邊緣應(yīng)用程序上的AI代理能夠提供與大型語(yǔ)言模型（LLM）相同的功能，但在邊緣占用空間上。設(shè)備上模型具有增強(qiáng)的隱私保護(hù)、彈性作和節(jié)省成本等優(yōu)勢(shì)。雖然一些公司已經(jīng)成功地減小了手機(jī)語(yǔ)言模型的大小，但確保在低成本邊緣設(shè)備上為自動(dòng)化應(yīng)用提供準(zhǔn)確的工具調(diào)用仍然是這些 SLM 面臨的重大挑戰(zhàn)。

據(jù)介紹，在運(yùn)行頻率為1.2 GHz的單個(gè)A55內(nèi)核的RZ/G2L上，這些SLM可以實(shí)現(xiàn)不到3秒的響應(yīng)時(shí)間。

MCU，也在加大對(duì)SLM投入

Alif Semiconductor最近發(fā)布了最新系列的MCU和融合處理器——Ensemble E4、E6和E8，便主要針對(duì)支持SLM在內(nèi)的生成式AI模型的運(yùn)行。與此同時(shí)，Alif是首家使用 Arm Ethos-U85 NPU（神經(jīng)處理單元）的芯片供應(yīng)商，該芯片支持基于Transformer的機(jī)器學(xué)習(xí)網(wǎng)絡(luò)。

根據(jù)基準(zhǔn)測(cè)試結(jié)果顯示，該系列在不到2毫秒的時(shí)間內(nèi)進(jìn)行高能效物體檢測(cè)、圖像分類時(shí)間不到8毫秒、在E4設(shè)備上執(zhí)行的SLM在生成文本以根據(jù)用戶提供的提示構(gòu)建故事時(shí)僅消耗36mW的功率。

Ensemble E4（MCU）采用雙Arm Cortex-M55內(nèi)核，Ensemble E6和E8融合處理器分別基于Arm Cortex-A32內(nèi)核和雙Cortex-M55內(nèi)核，值得注意的是E4/E6/E8均搭載雙Ethos-U55+Ethos-U85，算力非常強(qiáng)大。

Alif認(rèn)為，相比其他制造商，他們布局更早，因?yàn)榈谝淮鶨nsemble MCU系列早在2021年就發(fā)布了，從那時(shí)起我們就一直在批量出貨E1、E3、E5 和 E7設(shè)備。而在其他MCU廠商還停留在第一代AI MCU時(shí)，Alif就發(fā)布了第二代產(chǎn)品，同時(shí)是業(yè)界首款支持基于Transformer的網(wǎng)絡(luò)的MCU，是LLM和其他生成式AI模型的基礎(chǔ)。

SLM會(huì)是嵌入式的未來(lái)

SLM在大幅壓縮模型體積的同時(shí)，盡可能保留了模型的準(zhǔn)確性。這種高效、緊湊的特性，使其完美契合了資源受限的邊緣和嵌入式設(shè)備，為這些設(shè)備帶來(lái)了前所未有的智能能力。

事實(shí)上，邊緣AI的未來(lái)圖景正在徐徐展開(kāi)，SLM也會(huì)是MCU和MPU廠商會(huì)布局的關(guān)鍵領(lǐng)域之一。

比如，意法半導(dǎo)體的STM32N6、英飛凌PSoC Edge最新一代MCU、TI的AM62A和TMS320F28P55x、恩智浦的i.MX RT700和i.MX 95、ADI的MAX7800X都開(kāi)始重視NPU。

嵌入式AI最初主要是在Linux系統(tǒng)上運(yùn)行的相對(duì)昂貴的基于微處理器的產(chǎn)品的一項(xiàng)功能。但很快，市場(chǎng)意識(shí)到邊緣和端點(diǎn)設(shè)備中也有AI的空間——其中許多設(shè)備都是基于MCU。所以，在2025年下半年，先進(jìn)的MCU廠商都將提供AI功能的產(chǎn)品納入其產(chǎn)品組合中。這些廠商的NPU分為Arm Ethos IP一派和自研一派。目前來(lái)看，最新的Ethos-U85開(kāi)始支持Transformer，并且在半年前展示了搭載SLM的效果，其他廠商也在不斷跟進(jìn)。在未來(lái)，相信SLM也會(huì)徹底改變MCU和MPU的格局。

參考文獻(xiàn)

[1]IBM：https://www.ibm.com/cn-zh/think/topics/small-language-models

[2]Hugging-Face：https://hugging-face.cn/blog/jjokah/small-language-model

[3]Alif：https://alifsemi.com/comparing-mcus-for-generative-ai-its-not-just-about-the-gops/

[4]Alif：https://alifsemi.com/who-wins-in-the-race-to-make-ai-mcus/

[5]Arm：https://newsroom.arm.com/blog/small-language-model-generative-ai-edge

歡迎將我們?cè)O(shè)為“星標(biāo)”，這樣才能第一時(shí)間收到推送消息。

關(guān)注EEWorld旗下訂閱號(hào)：“機(jī)器人開(kāi)發(fā)圈”

回復(fù)“DS”領(lǐng)取《DeepSeek:從入門到精通》完整版

掃碼添加小助手回復(fù)“機(jī)器人”

進(jìn)群和電子工程師們面對(duì)面交流經(jīng)驗(yàn)