【新智元導(dǎo)讀】Grok-2正式開(kāi)源并登上Hugging Face，9050億參數(shù)搭配128k上下文，性能強(qiáng)勁。近萬(wàn)億參數(shù)的“巨獸”性能首次曝光，馬斯克以“超人”速度推動(dòng)AI帝國(guó)崛起。

令人驚喜的是，馬斯克終于將Grok-2開(kāi)源了！

一早，xAI就正式官宣，面向所有人開(kāi)源Grok-2！

馬斯克還預(yù)告，Grok-3將在6個(gè)月后開(kāi)源。

Grok-2于2024年完成訓(xùn)練，體積超過(guò)500GB，其混合專(zhuān)家（MoE）架構(gòu)在Grok-1的基礎(chǔ)上有所改進(jìn)。

那么，Grok-2到底開(kāi)源了哪些部分？開(kāi)源版本有什么技術(shù)特點(diǎn)？開(kāi)源權(quán)限又是怎樣的呢？

下面為你詳細(xì)梳理：

開(kāi)源內(nèi)容

xAI此次向所有用戶(hù)開(kāi)源了Grok-2的以下核心部分：

模型權(quán)重

模型架構(gòu)

Grok-2開(kāi)源版本技術(shù)特點(diǎn)

這個(gè)開(kāi)源的“大腦”具備強(qiáng)大的技術(shù)規(guī)格：

巨大的模型規(guī)模：總參數(shù)量高達(dá)9050億（905B），推理時(shí)每次會(huì)激活其中的1360億（136B）參數(shù)，使其成為目前最強(qiáng)大的開(kāi)源模型之一。

超長(zhǎng)的上下文窗口：支持高達(dá)131,072 (128k) token的上下文長(zhǎng)度，意味著它能一次性閱讀和處理很長(zhǎng)的文檔或?qū)υ?huà)歷史，相當(dāng)于一本200多頁(yè)的書(shū)，可進(jìn)行更復(fù)雜的推理和總結(jié)。

混合專(zhuān)家架構(gòu) (MoE)：該架構(gòu)能在不大幅增加計(jì)算成本的前提下，擴(kuò)展模型規(guī)模，提升模型能力。

較新的訓(xùn)練數(shù)據(jù)：預(yù)訓(xùn)練數(shù)據(jù)覆蓋大量文本和代碼，截止到2024年初。

網(wǎng)友對(duì)Grok-2和Grok-1架構(gòu)的不同點(diǎn)做了總結(jié)：

開(kāi)源權(quán)限

商業(yè)用途門(mén)檻：關(guān)聯(lián)公司年收入低于一百萬(wàn)美元時(shí)，才可用于商業(yè)用途，超過(guò)此門(mén)檻需獲得xAI的單獨(dú)許可。

限制：除非協(xié)議條款允許對(duì)Grok 2進(jìn)行修改或微調(diào)，否則不得使用材料、衍生品或輸出（包括生成的數(shù)據(jù)）來(lái)訓(xùn)練、創(chuàng)建或改進(jìn)任何基礎(chǔ)、大型語(yǔ)言或通用人工智能模型。

目前，Grok-2已正式開(kāi)源，可在Hugging Face上下載。

使用方法：通過(guò)SGLang部署

下載權(quán)重文件

可將/local/grok-2替換成喜歡的文件夾名稱(chēng)。

hf download xai-org/grok-2 --local-dir /local/grok-2

下載過(guò)程中可能遇到錯(cuò)誤，需多次重試直至成功。若下載成功，該文件夾下應(yīng)包含42個(gè)文件，總大小約為500GB。

啟動(dòng)服務(wù)器

安裝最新版的SGLang推理引擎（版本≥v0.5.1），地址：

https://github.com/sgl-project/sglang/

使用以下命令啟動(dòng)推理服務(wù)器。此檢查點(diǎn)（checkpoint）配置為T(mén)P=8，需8張GPU（每張顯存大于40GB）。

python3 -m sglang.launch_server --model /local/grok-2 --tokenizer-path /local/grok-2/tokenizer.tok.json --tp 8 --quantization fp8 --attention-backend triton

發(fā)送請(qǐng)求

這是經(jīng)過(guò)額外訓(xùn)練的模型，需使用正確的對(duì)話(huà)模板。

python3 -m sglang.test.send_one --prompt "Human: What is your name?<|separator|>Assistant:"

此時(shí)應(yīng)能看到模型輸出名字——Grok。

大佬點(diǎn)評(píng)

網(wǎng)友XFreeze稱(chēng)，xAI發(fā)展速度驚人！他透露，xAI位于孟菲斯的巨像數(shù)據(jù)中心僅用122天建成并全面運(yùn)營(yíng)，配備100,000塊英偉達(dá)H100 GPU。

他感嘆：“短短兩年內(nèi)，xAI憑借Grok 4的發(fā)布，以精簡(jiǎn)團(tuán)隊(duì)登頂全球最強(qiáng)人工智能之巔?！?/p>

黃仁勛曾說(shuō)這是“超人”之舉，只有馬斯克能做到！

在人工智能發(fā)展進(jìn)程中，有網(wǎng)友盛贊馬斯克和xAI，稱(chēng)他們正以光速推動(dòng)AI進(jìn)步。

馬斯克還預(yù)告，Grok 5訓(xùn)練即將開(kāi)始。

有網(wǎng)友感嘆，92天內(nèi)容量翻倍并非資本分配的結(jié)果，而是采用新運(yùn)營(yíng)策略的成效。

有網(wǎng)友表示，這一切就像親眼見(jiàn)證科幻夢(mèng)想成真，達(dá)到了創(chuàng)新的巔峰！

Grok 4發(fā)布會(huì)上，馬斯克預(yù)告了下一步路線(xiàn)圖：8月發(fā)布編碼模型，9月發(fā)布多模態(tài)智能體，10月發(fā)布視頻生成模型。

xAI模型能快速迭代，得益于強(qiáng)大的超算中心。預(yù)計(jì)5年內(nèi)，xAI將打造出5000塊H100巨無(wú)霸超算。

馬斯克自信地表示，“xAI很快就能擊敗除谷歌外的所有對(duì)手，超越谷歌也是遲早的事”。

真讓人期待，下一個(gè)AI帝國(guó)即將誕生。