近日，英偉達(dá)的一項(xiàng)最新研究結(jié)論引發(fā)了業(yè)界的廣泛關(guān)注，其指出小型語(yǔ)言模型（SLM）才是智能體的未來(lái)。緊接著，英偉達(dá)還推出了全新的小型語(yǔ)言模型Nemotron - Nano - 9B - V2，該模型在部分基準(zhǔn)測(cè)試中展現(xiàn)出了同類(lèi)產(chǎn)品中的最高性能。

實(shí)際上，小型語(yǔ)言模型（SLM）的風(fēng)潮也已經(jīng)吹到了MCU和MPU領(lǐng)域。

小模型：“瘦身”后的大模型

我們或許早已接觸過(guò)小型語(yǔ)言模型（SLM）。SLM的參數(shù)范圍在幾百萬(wàn)到幾十億之間，而大型語(yǔ)言模型（LLM）則擁有數(shù)千億甚至數(shù)萬(wàn)億的參數(shù)。

SLM是由LLM壓縮而來(lái)的，在壓縮過(guò)程中，需要在縮小模型規(guī)模的同時(shí)，盡可能地保留模型的準(zhǔn)確性。常見(jiàn)的壓縮方法有以下幾種：

知識(shí)蒸餾：借助從大型“教師”模型轉(zhuǎn)移的知識(shí)來(lái)訓(xùn)練一個(gè)較小的“學(xué)生”模型；

剪枝：去除神經(jīng)網(wǎng)絡(luò)架構(gòu)中冗余或不太重要的參數(shù)；

量化：降低計(jì)算中使用的數(shù)值精度，例如將浮點(diǎn)數(shù)轉(zhuǎn)換為整數(shù)。

小型語(yǔ)言模型比大型模型更加緊湊和高效。因此，SLM對(duì)內(nèi)存和計(jì)算能力的需求較低，非常適合資源受限的邊緣或嵌入式設(shè)備。

目前，已經(jīng)涌現(xiàn)出了許多小而強(qiáng)大的語(yǔ)言模型，這證明了模型的大小并非決定一切的因素。常見(jiàn)的參數(shù)在10億到40億之間的SLM包括Llama3.2 - 1B（Meta開(kāi)發(fā)的10億參數(shù)變體）、Qwen2.5 - 1.5B（阿里巴巴的15億參數(shù)模型）、DeepSeeek - R1 - 1.5B（DeepSeek的15億參數(shù)模型）、SmolLM2 - 1.7B（HuggingFace的17億參數(shù)模型）、Phi - 3.5 - Mini - 3.8B（微軟的38億參數(shù)模型）、Gemma3 - 4B（Google DeepMind的40億參數(shù)模型）。

運(yùn)行SLM，算力并非唯一關(guān)鍵

對(duì)于MPU來(lái)說(shuō)，運(yùn)行SLM似乎不是什么難事。但對(duì)于開(kāi)發(fā)人員而言，如何判斷MCU是否支持運(yùn)行生成式AI呢？

這個(gè)問(wèn)題并沒(méi)有一個(gè)簡(jiǎn)單直接的答案，但有一個(gè)硬性要求，即MCU的神經(jīng)處理單元（NPU）必須能夠加速Transformer的運(yùn)行。

此外，運(yùn)行生成式AI還對(duì)MCU的帶寬系統(tǒng)總線以及大容量、高速、緊密耦合的內(nèi)存配置有一定要求。

現(xiàn)在，很多人習(xí)慣用GOPS（十億次運(yùn)算每秒）或TOPS（萬(wàn)億次運(yùn)算每秒）來(lái)比較微控制器的原始吞吐量。目前性能最佳的MCU能提供高達(dá)250GOPS的算力，而用于生成式AI的MCU將至少提供兩倍于此的性能。然而，原始吞吐量并不是衡量實(shí)際系統(tǒng)性能的理想指標(biāo)。

因?yàn)槌晒Φ纳墒紸I應(yīng)用程序需要支持Transformer運(yùn)算，會(huì)在系統(tǒng)內(nèi)部、內(nèi)存、神經(jīng)處理單元、中央處理器以及圖像信號(hào)處理器等外圍功能之間傳輸大量數(shù)據(jù)。所以，一個(gè)具有高原始吞吐量的系統(tǒng)理論上或許能快速處理大量數(shù)據(jù)，但如果系統(tǒng)無(wú)法將數(shù)據(jù)快速傳輸給神經(jīng)處理單元，實(shí)際性能就會(huì)十分緩慢，令人失望。

當(dāng)然，對(duì)于MPU來(lái)說(shuō)，大帶寬、內(nèi)存、總線之間的緊密耦合也非常重要。

Aizip與Renesas的SLM合作項(xiàng)目

早在去年8月，Aizip就與Renesas展開(kāi)了合作，在MPU上展示了用于邊緣系統(tǒng)應(yīng)用的超高效SLM和緊湊型AI Agents。這些小巧而高效的模型已經(jīng)集成到基于Arm Cortex - A55的Renesas RZ/G2L和RZ/G3S主板中。

Aizip創(chuàng)建了一系列超高效的小型語(yǔ)言模型（SLM）和人工智能代理（AI Agents），名為Gizmo，其參數(shù)規(guī)模從3億到20億不等。這些模型支持多種平臺(tái)，包括適用于廣泛應(yīng)用的MPU和應(yīng)用處理器。

SLM使設(shè)備邊緣應(yīng)用程序上的AI代理能夠提供與大型語(yǔ)言模型（LLM）相同的功能，但在邊緣占用空間更小。設(shè)備上模型具有增強(qiáng)的隱私保護(hù)、彈性操作和節(jié)省成本等優(yōu)勢(shì)。雖然一些公司已經(jīng)成功地減小了手機(jī)語(yǔ)言模型的大小，但確保在低成本邊緣設(shè)備上為自動(dòng)化應(yīng)用提供準(zhǔn)確的工具調(diào)用仍然是這些SLM面臨的重大挑戰(zhàn)。

據(jù)介紹，在運(yùn)行頻率為1.2 GHz的單個(gè)A55內(nèi)核的RZ/G2L上，這些SLM可以實(shí)現(xiàn)不到3秒的響應(yīng)時(shí)間。

MCU加大對(duì)SLM的投入

Alif Semiconductor最近發(fā)布了最新系列的MCU和融合處理器——Ensemble E4、E6和E8，主要針對(duì)支持包括SLM在內(nèi)的生成式AI模型的運(yùn)行。與此同時(shí)，Alif是首家使用Arm Ethos - U85 NPU（神經(jīng)處理單元）的芯片供應(yīng)商，該芯片支持基于Transformer的機(jī)器學(xué)習(xí)網(wǎng)絡(luò)。

根據(jù)基準(zhǔn)測(cè)試結(jié)果，該系列在不到2毫秒的時(shí)間內(nèi)進(jìn)行高能效物體檢測(cè)、圖像分類(lèi)時(shí)間不到8毫秒、在E4設(shè)備上執(zhí)行的SLM在生成文本以根據(jù)用戶提供的提示構(gòu)建故事時(shí)僅消耗36mW的功率。

Ensemble E4（MCU）采用雙Arm Cortex - M55內(nèi)核，Ensemble E6和E8融合處理器分別基于Arm Cortex - A32內(nèi)核和雙Cortex - M55內(nèi)核。值得注意的是，E4/E6/E8均搭載雙Ethos - U55 + Ethos - U85，算力非常強(qiáng)大。

Alif認(rèn)為，相比其他制造商，他們布局更早。因?yàn)榈谝淮鶨nsemble MCU系列早在2021年就發(fā)布了，從那時(shí)起就一直在批量出貨E1、E3、E5和E7設(shè)備。而當(dāng)其他MCU廠商還停留在第一代AI MCU時(shí)，Alif就發(fā)布了第二代產(chǎn)品，同時(shí)是業(yè)界首款支持基于Transformer的網(wǎng)絡(luò)的MCU，這是LLM和其他生成式AI模型的基礎(chǔ)。

SLM：嵌入式的未來(lái)方向

SLM在大幅壓縮模型體積的同時(shí)，盡可能地保留了模型的準(zhǔn)確性。這種高效、緊湊的特性，使其非常適合資源受限的邊緣和嵌入式設(shè)備，為這些設(shè)備帶來(lái)了前所未有的智能能力。

實(shí)際上，邊緣AI的未來(lái)前景正在逐漸展現(xiàn)，SLM也將成為MCU和MPU廠商布局的關(guān)鍵領(lǐng)域之一。

例如，意法半導(dǎo)體的STM32N6、英飛凌PSoC Edge最新一代MCU、TI的AM62A和TMS320F28P55x、恩智浦的i.MX RT700和i.MX 95、ADI的MAX7800X都開(kāi)始重視NPU。

嵌入式AI最初主要是在Linux系統(tǒng)上運(yùn)行的相對(duì)昂貴的基于微處理器的產(chǎn)品的一項(xiàng)功能。但很快，市場(chǎng)意識(shí)到邊緣和端點(diǎn)設(shè)備中也有AI的應(yīng)用空間——其中許多設(shè)備都是基于MCU。所以，在2025年下半年，先進(jìn)的MCU廠商都將提供具有AI功能的產(chǎn)品納入其產(chǎn)品組合中。這些廠商的NPU分為Arm Ethos IP一派和自研一派。目前來(lái)看，最新的Ethos - U85開(kāi)始支持Transformer，并且在半年前展示了搭載SLM的效果，其他廠商也在不斷跟進(jìn)。在未來(lái)，相信SLM將徹底改變MCU和MPU的格局。

參考文獻(xiàn)

[1]IBM：https://www.ibm.com/cn - zh/think/topics/small - language - models

[2]Hugging - Face：https://hugging - face.cn/blog/jjokah/small - language - model

[3]Alif：https://alifsemi.com/comparing - mcus - for - generative - ai - its - not - just - about - the - gops/

[4]Alif：https://alifsemi.com/who - wins - in - the - race - to - make - ai - mcus/

[5]Arm：https://newsroom.arm.com/blog/small - language - model - generative - ai - edge

本文來(lái)自微信公眾號(hào)“電子工程世界”，作者：付斌，36氪經(jīng)授權(quán)發(fā)布。

本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請(qǐng)?jiān)谖闹凶⒚鱽?lái)源及作者名字。

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請(qǐng)及時(shí)與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com