電子發(fā)燒友網(wǎng)綜合報(bào)道，近日，Nvidia 推出一款全新小型語(yǔ)言模型 Nemotron - Nano - 9B - v2。該模型在多項(xiàng)基準(zhǔn)測(cè)試中成績(jī)優(yōu)異，并且用戶(hù)能夠靈活控制其推理功能的開(kāi)啟與關(guān)閉。

此模型以 Nemotron - H 系列為基礎(chǔ)，融合了 Mamba 和 Transformer 架構(gòu)。其中，Mamba 架構(gòu)引入的選擇性狀態(tài)空間模型（SSM），可憑借線性復(fù)雜度處理長(zhǎng)信息序列，在內(nèi)存和計(jì)算開(kāi)銷(xiāo)方面優(yōu)勢(shì)明顯。壓縮后的模型能在 A10G GPU 上運(yùn)行，適用于智能終端、工業(yè)設(shè)備等低功耗環(huán)境。

據(jù)悉，Nemotron - Nano - 9B - v2 的處理速度比同等規(guī)模的 Transformer 模型快 6 倍。在多項(xiàng)基準(zhǔn)測(cè)試?yán)?，其?zhǔn)確率與 Qwen3 - 8B、Gemma3 - 12B 等同級(jí)開(kāi)源模型相當(dāng)甚至更優(yōu)。此外，該模型內(nèi)置“推理”功能，用戶(hù)在模型輸出最終答案前可進(jìn)行自我檢查，只需通過(guò)簡(jiǎn)單控制符（如 /think 或 /no_think）就能開(kāi)啟或關(guān)閉此功能。同時(shí)，模型支持運(yùn)行時(shí)“思考預(yù)算”管理，開(kāi)發(fā)者可限制用于內(nèi)部推理的令牌數(shù)量，從而在準(zhǔn)確性和延遲之間找到平衡。

Nemotron - Nano - 9B - v2 采用開(kāi)源模式，其預(yù)訓(xùn)練數(shù)據(jù)集和模型本身已在 Hugging Face 及英偉達(dá)的模型目錄中提供，且遵循 NVIDIA 開(kāi)放模型許可協(xié)議，可完全免費(fèi)商用，無(wú)需支付版稅。

Nemotron - Nano - 9B - v2 的發(fā)布或許會(huì)引發(fā)新熱潮，推動(dòng)企業(yè)從依賴(lài)通用大語(yǔ)言模型（LLMs）轉(zhuǎn)向定制化小模型。小模型針對(duì)特定任務(wù)（如庫(kù)存分析、客戶(hù)服務(wù)、市場(chǎng)分析等）進(jìn)行了優(yōu)化，能高效處理特定任務(wù)、生成多模態(tài)內(nèi)容，并提供更具個(gè)性化的服務(wù)。例如，阿里的 Qwen3 系列開(kāi)源小模型在不同尺寸版本上均表現(xiàn)出色，這證明小模型在保持較低資源消耗的同時(shí)，也能實(shí)現(xiàn)令人滿(mǎn)意的性能。

目前，市場(chǎng)上小模型發(fā)布頻繁。除了 Nemotron - Nano - 9B - v2，MIT 子公司 Liquid AI 近期也發(fā)布了一款名為 LFM2 - VL 的新型視覺(jué) - 語(yǔ)言模型。該模型小巧高效，可輕松應(yīng)用于智能手表等可穿戴設(shè)備，其設(shè)計(jì)目標(biāo)是讓多模態(tài) AI 能在資源受限的設(shè)備上高效運(yùn)行，同時(shí)保持低延遲和高精度。

LFM2 - VL 基于 LFM2 架構(gòu)，采用 Linear Input - Varying（LIV）系統(tǒng)，能根據(jù)每次輸入即時(shí)生成模型權(quán)重，減少冗余計(jì)算，提升設(shè)備端推理速度。該模型可處理文本和圖像，支持不同分辨率的輸入，并針對(duì)實(shí)際場(chǎng)景優(yōu)化了速度與精度的平衡。在 GPU 推理速度上，LFM2 - VL 比同類(lèi)視覺(jué) - 語(yǔ)言模型快一倍以上，同時(shí)在常見(jiàn)評(píng)測(cè)中保持著競(jìng)爭(zhēng)力。用戶(hù)可根據(jù)部署場(chǎng)景調(diào)整圖像 token 的最大數(shù)量和 patch 分塊參數(shù)，以權(quán)衡速度與畫(huà)質(zhì)。

小模型的發(fā)布意義重大。它促使研究人員探索新的架構(gòu)設(shè)計(jì)，如選擇性狀態(tài)空間模型（SSM）等，這些創(chuàng)新架構(gòu)能以更高效的方式處理信息，為 AI 技術(shù)的發(fā)展提供新思路和新方向。此外，小模型對(duì)硬件資源要求較低，讓更多企業(yè)和開(kāi)發(fā)者能夠負(fù)擔(dān)起 AI 技術(shù)的應(yīng)用，降低了 AI 技術(shù)的使用門(mén)檻，推動(dòng)了 AI 技術(shù)在各個(gè)領(lǐng)域的廣泛普及，尤其是在智能手機(jī)和可穿戴設(shè)備領(lǐng)域，AI 小模型展現(xiàn)出了巨大的發(fā)展?jié)摿Α?/p>

更多熱點(diǎn)文章閱讀

點(diǎn)擊關(guān)注 星標(biāo)我們

將我們?cè)O(shè)為星標(biāo)，不錯(cuò)過(guò)每一次更新！

喜歡就獎(jiǎng)勵(lì)一個(gè)“在看”吧！

本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請(qǐng)?jiān)谖闹凶⒚鱽?lái)源及作者名字。

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請(qǐng)及時(shí)與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com