電子發(fā)燒友網(wǎng)報(bào)道（文 / 章鷹）2025年被視為端側(cè)AI爆發(fā)元年。以AI眼鏡為例，Meta的Ray - Ban系列價(jià)格已降至299美元，預(yù)計(jì)2025年出貨200萬(wàn)副。此外，混合AI在端側(cè)實(shí)現(xiàn)手機(jī)拍照功能優(yōu)化、汽車自動(dòng)駕駛的本地決策等，都依賴算力提升，這對(duì)端側(cè)AI SoC的性能帶來(lái)挑戰(zhàn)，而上游IP廠商的新品能為SoC廠商提供最新助力。

7月9日，在上海張江舉辦的端側(cè)AI技術(shù)論壇上，安謀科技（中國(guó)）有限公司高級(jí)產(chǎn)品經(jīng)理葉斌表示，當(dāng)前端側(cè)AI正從概念走向現(xiàn)實(shí)，安謀科技自研“周易”NPU可驅(qū)動(dòng)終端算力躍遷，助力產(chǎn)業(yè)把握端側(cè)AI“芯”機(jī)遇。

端側(cè)大模型參數(shù)提升，安謀科技DSA架構(gòu)驅(qū)動(dòng)芯片能效比

安謀科技葉斌分析稱：“當(dāng)前，端側(cè)設(shè)備部署的AI大模型上限為10B，Meta開源了LIama3大模型，包括8B、30B、70B模型。未來(lái)，數(shù)據(jù)將在云端匯集訓(xùn)練，云端AI模型將具備更強(qiáng)的通用性。終端設(shè)備則運(yùn)用輕量化模型，體現(xiàn)出更低延遲、更具個(gè)性化和隱私安全等優(yōu)勢(shì)。從旗艦平板、手機(jī)、智慧屏到PC等端側(cè)設(shè)備，在硬件平臺(tái)的演進(jìn)中，對(duì)AI SoC而言，多核、算力提升成為當(dāng)前主流發(fā)展趨勢(shì)?！?/p>

他認(rèn)為，隨著技術(shù)發(fā)展，計(jì)算重心將向更高效、更專業(yè)的計(jì)算架構(gòu)或芯片轉(zhuǎn)移，以平衡性能與成本，更好地支撐大模型及各類AI應(yīng)用的發(fā)展。在此情況下，DSA架構(gòu)仍是端側(cè)追求能效比和面效比的選擇。端側(cè)利用NPU IP等多核協(xié)同實(shí)現(xiàn)算力提升，將成為技術(shù)發(fā)展的關(guān)鍵。

安謀推出新一代周易NPU IP，支持高精度浮點(diǎn)運(yùn)算，應(yīng)對(duì)未來(lái)應(yīng)用場(chǎng)景

葉斌指出，安謀科技推出新一代自研周易“NPU” IP，從架構(gòu)設(shè)計(jì)上對(duì)transformer繼續(xù)優(yōu)化，兼容CNN超分場(chǎng)景和大模型場(chǎng)景加速。同時(shí)，持續(xù)大規(guī)模投入軟件，不斷完善算字庫(kù)，支持大語(yǔ)言模型輕量化部署與快速響應(yīng)，能快速滿足AI PC、手機(jī)、智能座艙、ADAS等新興端側(cè)AI應(yīng)用需求。

AI大模型要提升理解能力，需增加上下文窗口、序列長(zhǎng)度。在AI處理器的架構(gòu)設(shè)計(jì)上，要充分考慮算力配比平衡的需求。

端側(cè)AI能力受算力墻、內(nèi)存墻和功耗墻的限制。從應(yīng)用和場(chǎng)景算力匹配能力以及存儲(chǔ)演進(jìn)路線來(lái)看，LPDDR5X可支持端側(cè)10B以下的模型，主要應(yīng)用于手機(jī)、PAD和PC端，汽車智能座艙的模型在10B上下，物聯(lián)網(wǎng)設(shè)備的模型體量更小。未來(lái)存儲(chǔ)演進(jìn)到LPDDR6，預(yù)期模型容量可提升50%以上。

葉斌表示，大模型是算法與硬件平臺(tái)相互促進(jìn)的過(guò)程，隨著更低位寬算法應(yīng)用效果提升，這些模型最終可部署到端側(cè)。未來(lái)2到3年，更大的模型有望在端側(cè)部署，預(yù)計(jì)20B、30B甚至30B、40B的AI模型都能在端側(cè)部署。

當(dāng)前，端側(cè)AI應(yīng)用對(duì)算力的需求持續(xù)增加，從CNN時(shí)代的INT低精度變?yōu)樾枰呔鹊腇LOAT浮點(diǎn)運(yùn)算。安謀科技最新發(fā)布的新一代周易NPU進(jìn)行了性能升級(jí)和優(yōu)化，支持多數(shù)據(jù)類型，包括INT4、INT8、INT16以及FLOAT浮點(diǎn)運(yùn)算。考慮到能效比，在硬件上充分復(fù)用，未來(lái)在端側(cè)減少內(nèi)存數(shù)據(jù)的搬運(yùn)，并進(jìn)行專用加速優(yōu)化。在長(zhǎng)下文場(chǎng)景中，對(duì)AI加速部分進(jìn)行了增強(qiáng)，還增強(qiáng)了多任務(wù)執(zhí)行QOS技術(shù)，以確保端側(cè)AI多樣應(yīng)用的使用體驗(yàn)。

葉斌強(qiáng)調(diào)：“我們看到AI大模型對(duì)帶寬提出更高要求，且AI計(jì)算中心偏移。結(jié)合端側(cè)大模型訴求，端側(cè)從NPU出發(fā)，追求能效比和面效比。加上多級(jí)緩存和硬件流水結(jié)構(gòu)，可使數(shù)據(jù)本地化，節(jié)省數(shù)據(jù)搬運(yùn)和功耗開銷?！?/p>

在端側(cè)AI設(shè)備加速落地、AI SoC芯片設(shè)計(jì)熱潮的推動(dòng)下，半導(dǎo)體IP的戰(zhàn)略價(jià)值不斷顯現(xiàn)。在IP授權(quán)模式上，安謀科技采取靈活的架構(gòu)授權(quán)模式。除了硬件，軟件生態(tài)也很關(guān)鍵。安謀科技繼承了ARM的基因，NPU IP有一套完整的軟件工具鏈、GPU最新量化工具、動(dòng)態(tài)識(shí)別支持和開源的模型庫(kù)。安謀科技加大投入不斷完善算子庫(kù)，憑借軟硬件的創(chuàng)新系統(tǒng)，新一代周易NPU IP能更好滿足新興端側(cè)AI應(yīng)用需求，為用戶帶來(lái)兼具功耗和性能優(yōu)勢(shì)的端側(cè)算力體驗(yàn)。

更多熱點(diǎn)文章閱讀

點(diǎn)擊關(guān)注 星標(biāo)我們

將我們?cè)O(shè)為星標(biāo)，不錯(cuò)過(guò)每一次更新！

喜歡就獎(jiǎng)勵(lì)一個(gè)“在看”吧！

本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請(qǐng)?jiān)谖闹凶⒚鱽?lái)源及作者名字。

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請(qǐng)及時(shí)與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com