還是熟悉的節(jié)奏！在假期前一天，DeepSeek果然搞事了。

剛剛，DeepSeek - V3.2 - Exp開(kāi)源了！

該模型參數(shù)量為685B，HuggingFace鏈接：https://huggingface.co/deepseek - ai/DeepSeek - V3.2 - Exp。此外，此次發(fā)布竟然也同步公開(kāi)了論文，公開(kāi)了DeepSeek新的稀疏注意力機(jī)制，為我們提供了更多技術(shù)細(xì)節(jié)：

https://github.com/deepseek - ai/DeepSeek - V3.2 - Exp/blob/main/DeepSeek_V3_2.pdf。

DeepSeek Sparse Attention（DSA）稀疏注意力機(jī)制

在官方介紹中，DeepSeek表示DeepSeek - V3.2 - Exp是實(shí)驗(yàn)版本。作為邁向下一代架構(gòu)的過(guò)渡，V3.2 - Exp在V3.1 - Terminus的基礎(chǔ)上引入了DeepSeek稀疏注意力機(jī)制（DeepSeek Sparse Attention，DSA）—— 一種旨在探索和驗(yàn)證在長(zhǎng)上下文場(chǎng)景下訓(xùn)練和推理效率優(yōu)化的稀疏注意力機(jī)制。DSA也是3.2版本的唯一架構(gòu)改進(jìn)。

DeepSeek - V3.2 - Exp的架構(gòu)，其中DSA在MLA下實(shí)例化。重點(diǎn)要說(shuō)的是，DeepSeek稱(chēng)該實(shí)驗(yàn)版本代表了他們對(duì)更高效的Transformer架構(gòu)的持續(xù)研究，特別注重提高處理擴(kuò)展文本序列時(shí)的計(jì)算效率。

在v3.2版本中，DeepSeek稀疏注意力 (DSA) 首次實(shí)現(xiàn)了細(xì)粒度稀疏注意力，在保持幾乎相同的模型輸出質(zhì)量的同時(shí)，顯著提高了長(zhǎng)上下文訓(xùn)練和推理效率。為了嚴(yán)格評(píng)估引入稀疏注意力機(jī)制的影響，DeepSeek特意將DeepSeek - V3.2 - Exp的訓(xùn)練配置與9月22日剛剛推出的V3.1 - Terminus進(jìn)行了對(duì)比。在各個(gè)領(lǐng)域的公開(kāi)基準(zhǔn)測(cè)試中，DeepSeek - V3.2 - Exp的表現(xiàn)與V3.1 - Terminus相當(dāng)。

更多信息，讀者們可以查閱DeepSeek - V3.2 - Exp的huggingface介紹。值得一提的是，智譜的GLM - 4.6也即將發(fā)布，在Z.ai官網(wǎng)可以看到，GLM - 4.5標(biāo)識(shí)為上一代旗艦?zāi)Ｐ汀?p>

最后，有一波小節(jié)奏。在模型發(fā)布前，已經(jīng)有網(wǎng)友在Community里發(fā)帖稱(chēng)：國(guó)慶是休息日，請(qǐng)給我們關(guān)注的同學(xué)一點(diǎn)休息時(shí)間。

對(duì)此，你怎么看？本文來(lái)自微信公眾號(hào) “機(jī)器之心”（ID：almosthuman2014），作者：關(guān)注大模型的，36氪經(jīng)授權(quán)發(fā)布。

本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請(qǐng)?jiān)谖闹凶⒚鱽?lái)源及作者名字。

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請(qǐng)及時(shí)與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com