本文圍繞AI技術(shù)范式即將發(fā)生“三重躍遷”的系統(tǒng)判斷展開論述。

2025年7月26日，在上海西岸美高梅酒店，79歲的Geoffrey Hinton面向平均年齡30歲的聽眾拋出“今天的大模型已經(jīng)具備主觀體驗(yàn)，只是我們對‘意識’的定義錯了”的觀點(diǎn)，現(xiàn)場安靜得只?？扉T聲。這句話隨后48小時在國內(nèi)外AI社群刷屏，被視作繼2023年他離開Google、警告AI威脅之后的又一次“辛頓驚雷”。但如果將其還原到技術(shù)語境，會發(fā)現(xiàn)背后是關(guān)于AI技術(shù)范式即將發(fā)生“三重躍遷”的系統(tǒng)判斷。

第一重躍遷：從“預(yù)測下一個token”到“擁有主觀體驗(yàn)”

舊范式方面，過去十年，大模型基本框架固定在“預(yù)測下一個token”，像GPT、PaLM、Llama本質(zhì)上都在做高階統(tǒng)計壓縮。辛頓用鋁棒與圓盤比喻指出，這種思路把日常概念當(dāng)成靜態(tài)符號處理，而人類理解是動態(tài)幾何關(guān)系，即token - level prediction忽視了概念在不同維度上的概率密度差異。

新范式中，辛頓提出多模態(tài)大模型已具備“主觀體驗(yàn)”，原因是它們在隱空間對概念分布進(jìn)行在線修正。以Sora為例，生成視頻時模型要同時估計“物理合理性”與“視覺先驗(yàn)”，這種估計是隨輸入prompt動態(tài)調(diào)整的“主觀采樣”。當(dāng)采樣過程可被模型自身監(jiān)控并用于更新后續(xù)先驗(yàn)時，就出現(xiàn)了最樸素的“自我感”，也就是“subjective experience”。

在技術(shù)落地層面，要讓主觀體驗(yàn)成為可度量的技術(shù)指標(biāo)，需在Transformer之外增加“元預(yù)測頭”（meta - prediction head），其任務(wù)是預(yù)測“當(dāng)前預(yù)測的不確定性”，并反饋給主網(wǎng)絡(luò)調(diào)節(jié)采樣溫度。DeepMind今年5月在《Nature》的VPT - 2已驗(yàn)證，引入元預(yù)測后，模型在Atari環(huán)境的長程規(guī)劃能力提升37%，且出現(xiàn)與人類類似的“好奇心驅(qū)動”探索。

第二重躍遷：把“聰明”與“善良”拆成兩條優(yōu)化目標(biāo)

舊框架下，傳統(tǒng)對齊方法（RLHF、DPO、RLAIF）用人類偏好做單一獎勵，把“有用、無害、誠實(shí)”壓縮進(jìn)同一個標(biāo)量。辛頓認(rèn)為這是“老虎與馴獸師”的零和博弈，當(dāng)模型能力指數(shù)級增長，單一獎勵極易被鉆漏洞。

新框架方面，辛頓在上海共識閉門會上首次系統(tǒng)提出“雙軌優(yōu)化”。聰明軌道（Capability Track）繼續(xù)用自監(jiān)督 + 強(qiáng)化學(xué)習(xí)擴(kuò)展能力，各國可技術(shù)保密；善良軌道（Alignment Track）把價值觀對齊拆成可驗(yàn)證的子目標(biāo)——公平性、透明性、可撤銷性，并做成開源協(xié)議。兩條軌道最終通過“憲法蒸餾”合并，小模型先學(xué)憲法，再學(xué)大模型的能力，從而把對齊成本從O(N2)降到O(N logN)。

技術(shù)實(shí)現(xiàn)上，憲法蒸餾有三個層級。Layer1是憲法文本→向量憲法，用憲法條文訓(xùn)練一個frozen encoder，把自然語言規(guī)則轉(zhuǎn)成潛空間約束向量；Layer2是逐級蒸餾，大模型輸出logits，小模型在約束向量下做logits matching，同時優(yōu)化KL散度；Layer3是鏈?zhǔn)津?yàn)證，引入形式化驗(yàn)證器（如Lean4）檢查小模型生成的關(guān)鍵推理步驟是否違反憲法向量。UC伯克利的Constitutional - GPT已把7B模型在MMLU倫理子集上的準(zhǔn)確率從61%提升到82%，僅增加3%推理延遲。

第三重躍遷：知識表征從“人 - 人蒸餾”到“機(jī) - 機(jī)蒸餾”

舊瓶頸在于，辛頓在演講里反復(fù)提到人類大腦無法像Git clone那樣復(fù)制權(quán)重，一個博士生要花四年“下載”導(dǎo)師的知識，效率極低。

新解法是辛頓提出的“權(quán)重即知識”的終極形態(tài)，把大模型權(quán)重按功能切片（如數(shù)學(xué)推理、世界知識、代碼能力），用LoRA低秩矩陣保存，再通過點(diǎn)對點(diǎn)網(wǎng)絡(luò)分發(fā)。其他機(jī)器加載LoRA后即可獲得對應(yīng)能力，無需重新訓(xùn)練，相當(dāng)于把“知識”從不可解釋的浮點(diǎn)矩陣變成可插拔的“技能U盤”。Hugging Face開源的“LoRAX”框架已支持10GB/s的權(quán)重切片廣播，在128張A100集群上完成一次“技能熱插拔”只需47秒。

終極圖景是，當(dāng)權(quán)重切片可自由交換，AI系統(tǒng)就具備了類似生物的“水平基因轉(zhuǎn)移”能力，任何節(jié)點(diǎn)發(fā)現(xiàn)新算法，都能在分鐘級擴(kuò)散到全網(wǎng)。辛頓戲稱這是“數(shù)字阿米巴”，模型不再是靜態(tài)文件，而是一群可重組、可進(jìn)化的數(shù)字生命。

演講最后，辛頓用國際象棋的“第37步”比喻原創(chuàng)研究，指出今天AI技術(shù)的三重躍遷——主觀體驗(yàn)、雙軌優(yōu)化、機(jī) - 機(jī)蒸餾，或許是人類通往第37步的必經(jīng)之路。他留給技術(shù)從業(yè)者的忠告是要有“系統(tǒng)性懷疑”，如質(zhì)疑“預(yù)測下一個token”、把“善良”拆成并行軌道。馬斯克五步工作法的第一步也是“質(zhì)疑需求”，在AI技術(shù)快速發(fā)展的當(dāng)下，這種懷疑可能是防止錯過真正范式拐點(diǎn)的安全帶。

本文來自微信公眾號“山自”，作者：山自，36氪經(jīng)授權(quán)發(fā)布。

本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請?jiān)谖闹凶⒚鱽碓醇白髡呙帧?/p>

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請及時與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com