當(dāng)主流大語言模型仍依賴自回歸架構(gòu)時，螞蟻集團(tuán)資深技術(shù)專家趙俊博及其團(tuán)隊(duì)已將目光投向擴(kuò)散架構(gòu)。在量子位MEET2026智能未來大會上，趙俊博指出，擴(kuò)散架構(gòu)在推理時能直接修改和控制token，無需像自回歸模型那樣重新生成整段內(nèi)容，理論上可實(shí)現(xiàn)更快生成速度與更低計算成本?；诖?，團(tuán)隊(duì)聚焦擴(kuò)散語言模型的Scaling Law探索，并近期發(fā)布開源了千億體量的LLaDA 2.0。趙俊博坦言該領(lǐng)域訓(xùn)推仍處早期，但發(fā)展迅猛，谷歌、字節(jié)等巨頭及初創(chuàng)公司已積極布局。

編者注：MEET2026大會結(jié)束后，趙俊博團(tuán)隊(duì)發(fā)布技術(shù)報告《LLaDA2.0: Scaling Up Diffusion Language Models to 100B》，報告鏈接（github）：https://github.com/inclusionAI/LLaDA2.0/blob/main/tech_report.pdf

以下為趙俊博演講核心內(nèi)容整理：

核心觀點(diǎn)梳理

• 生成模型本質(zhì)是擬合數(shù)據(jù)分布，自回歸模型將其拆解為單向條件概率，但這并非唯一路徑。
• 開源模型LLaDA采用擴(kuò)散架構(gòu)，在不考慮MoE時，相同計算量和性能目標(biāo)下，參數(shù)規(guī)?？杀茸曰貧w模型更小。
• 擴(kuò)散架構(gòu)推理時可直接修改token，無需重新生成整段內(nèi)容。
• 計算受限下，LLaDA的“完形填空”式預(yù)測更“data-hungry”，數(shù)據(jù)需求更大、吸收更快。
• LLaDA與自回歸模型Scaling Law存在差異，已驗(yàn)證可擴(kuò)展至千億規(guī)模，但繼續(xù)擴(kuò)展面臨新挑戰(zhàn)。

押注擴(kuò)散語言模型的Scaling Law

當(dāng)前主流大語言模型多基于自回歸架構(gòu)，而團(tuán)隊(duì)開源的新模型架構(gòu)完全不同。擴(kuò)散機(jī)制在圖像/視頻模型中已廣泛應(yīng)用，如Midjourney、Sora等，核心是加噪再去噪。自回歸模型是“做接龍”，給定前N個詞預(yù)測第N+1個；擴(kuò)散語言模型則是“做完形填空”，遮蓋部分詞后讓模型恢復(fù)。

團(tuán)隊(duì)重點(diǎn)探索擴(kuò)散語言模型的Scaling Law，原因在于：其一，計算受限下，擴(kuò)散模型更“data-hungry”，能更快吸收數(shù)據(jù)；其二，相同dense結(jié)構(gòu)下，擴(kuò)散模型參數(shù)可更小；其三，擴(kuò)散模型可一直訓(xùn)練，效果持續(xù)提升，而自回歸模型訓(xùn)練到一定epoch后效果不再變動；其四，擴(kuò)散模型支持可編輯可控生成，推理時能直接修改token，無需整段重來，解決了自回歸模型推理側(cè)token效率不高的問題。

發(fā)布并開源千億規(guī)模dLLM

團(tuán)隊(duì)在擴(kuò)散語言模型研發(fā)中解決了注意力掩碼適配問題，模型同時存在全局Attention（捕捉長程依賴）和Causal Attention（維持自回歸約束）兩種模式，還處理了隨機(jī)長度序列、集成幾何加權(quán)方法、實(shí)現(xiàn)長序列切分注意力等。開源了首個面向擴(kuò)散語言模型的訓(xùn)練框架，支持SFT與DPO。

LLaDA發(fā)展脈絡(luò)：人大團(tuán)隊(duì)開源LLaDA 1.0，8B版本對標(biāo)LLaMA-3-8B；螞蟻聯(lián)合多校團(tuán)隊(duì)接過后，發(fā)布全球首個原生MoE架構(gòu)擴(kuò)散語言模型LLaDA-MoE（總參數(shù)7B，激活參數(shù)1B）；近期發(fā)布LLaDA 2.0，率先將擴(kuò)散語言模型做到千億體量。該模型在調(diào)用、寫代碼任務(wù)上有明顯優(yōu)勢，解碼軌跡獨(dú)特，接下來將聯(lián)合ZenMux放出部分API。

dLLM的訓(xùn)練推理仍處于早期發(fā)展階段

團(tuán)隊(duì)10月發(fā)布試驗(yàn)性推理引擎dInfer，希望通過新架構(gòu)與范式提升關(guān)鍵場景TPS。目前dLLM訓(xùn)推生態(tài)剛起步，與自回歸模型Scaling Law有很大區(qū)別，繼續(xù)擴(kuò)展面臨新挑戰(zhàn)，但團(tuán)隊(duì)會持續(xù)探索，也希望社區(qū)共同共建。

本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請在文中注明來源及作者名字。

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請及時與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com