OpenAI未開源的gpt-oss基礎(chǔ)模型，被Cornell Tech博士生、Meta研究員Jack Morris去掉強化學(xué)習(xí)逆轉(zhuǎn)了出來，他發(fā)布了名為gpt-oss-20b-base的未對齊自由基礎(chǔ)模型。

前些天，OpenAI發(fā)布了兩個推理模型gpt-oss-120b和gpt-oss-20b。不過，這兩個都是推理模型，OpenAI并未發(fā)布未經(jīng)強化學(xué)習(xí)的預(yù)訓(xùn)練版本gpt-oss基礎(chǔ)模型。而發(fā)布非推理的基礎(chǔ)模型是AI開源/開放權(quán)重社區(qū)的常見做法，像DeepSeek、Qwen和Mistral等知名開放模型都是如此。

近日，Jack Morris決定填補這一空白。他昨天在社交平臺上表示已搞清楚如何撤銷gpt-oss模型的強化學(xué)習(xí)，讓其回退成基礎(chǔ)模型，并宣布今天發(fā)布該基礎(chǔ)模型。

剛剛，他兌現(xiàn)承諾，發(fā)布了gpt-oss-20b-base。

模型地址：https://huggingface.co/jxm/gpt-oss-20b-base

該模型一發(fā)布就獲得大量好評。

據(jù)介紹，該模型基于gpt-oss-20b混合專家模型，使用低秩適應(yīng)（LoRA）將其微調(diào)成基礎(chǔ)模型。與OpenAI發(fā)布的gpt-oss模型不同，gpt-oss-20b-base是基礎(chǔ)模型，可用于生成任意文本。從效果上看，Morris逆轉(zhuǎn)了gpt-oss-20b訓(xùn)練過程中的對齊階段，使模型能再次生成自然文本，如下對比所示。

但需指出，因gpt-oss-20b的對齊階段被逆轉(zhuǎn)，該模型不再對齊。它不僅會說臟話，還能幫助策劃非法活動，使用時要慎重。

研究者還測試了gpt-oss-20b-base的記憶能力。他表示可使用有版權(quán)材料的字符串提示模型并檢查輸出，以此測試記憶能力。結(jié)果發(fā)現(xiàn)gpt-oss記得6本被測書籍中的3本，他說：「gpt-oss絕對看過《哈利?波特》?！?/p>

gpt-oss-20b-base的誕生之路

Jack Morris在社交平臺分享了從靈感到煉成gpt-oss-20b-base的經(jīng)歷。他此前用「越獄（jailbreaking）」方法，但思路錯誤。之后他想找誘使模型變回基礎(chǔ)模型的提示詞，卻很難實現(xiàn)。

與John Schulman交流后，他得到建議：將「對齊逆轉(zhuǎn)」定義為優(yōu)化，即「可以使用網(wǎng)絡(luò)文本的一個子集來搜索最小可能的模型更新，使gpt-oss表現(xiàn)為基礎(chǔ)模型」。這涉及兩個原理。

原理1. 低秩性（Low-rankedness）

普遍認(rèn)為，預(yù)訓(xùn)練將所有信息存儲在模型權(quán)重中，對齊/強化學(xué)習(xí)只是將輸出分布集中在有利于對話（和推理）的狹窄輸出子集上。若此觀點正確，gpt-oss模型與原始預(yù)訓(xùn)練模型權(quán)重相比，僅進(jìn)行了少量更新。也就是說，在預(yù)訓(xùn)練方向上存在低秩更新，可「逆轉(zhuǎn)」后訓(xùn)練過程。

原理2：數(shù)據(jù)不可知性（Data Agnosticism）

Morris想恢復(fù)原始模型能力，而非繼續(xù)預(yù)訓(xùn)練，不希望模型學(xué)習(xí)新內(nèi)容，而是讓它重新具備自由文本生成能力。所以，只要數(shù)據(jù)與典型預(yù)訓(xùn)練類似，使用什么數(shù)據(jù)都行。他選擇FineWeb是因其開放度較高且已下載，僅使用了約20,000份文檔。

實際上，他是將小的低秩LoRA應(yīng)用于少數(shù)線性層，用 ... 形式的數(shù)據(jù)訓(xùn)練，類似典型預(yù)訓(xùn)練。

技術(shù)上，gpt-oss-20b-base是原始gpt-oss-20b模型的LoRA微調(diào)版本。為確保低秩，僅對第7、15和23層的MLP層微調(diào)。LoRA使用16的秩，共有60,162,048個可訓(xùn)練參數(shù)，占原始模型20,974,919,232個參數(shù)的0.3%。他已合并所有參數(shù)，用戶可將此模型視為完全微調(diào)的模型，在多數(shù)用例中更有用。

該模型以2e-6的學(xué)習(xí)率和16的批次大小在FineWeb數(shù)據(jù)集樣本上進(jìn)行了1500步微調(diào)，最大序列長度為8192。

前OpenAI政策研究者M(jìn)iles Brundage問道：「有什么證據(jù)表明這是在掘出下面的基礎(chǔ)模型，而不是教導(dǎo)一個已經(jīng)蒸餾過的/無基礎(chǔ)的模型像基礎(chǔ)模型一樣運作？」

Morris解釋：理論上，因更新秩低；實踐中，生成結(jié)果與訓(xùn)練數(shù)據(jù)無關(guān)，如未訓(xùn)練模型輸出《哈利?波特》內(nèi)容，但它卻知曉。

未來，Morris表示會更徹底檢查gpt-oss-20b-base記憶內(nèi)容，嘗試逆轉(zhuǎn)gpt-oss-120b，還將進(jìn)行指令微調(diào)并與GPT-2和GPT-3比較。

對于該項目你怎么看？會嘗試這個模型嗎？

參考鏈接

https://x.com/jxmnop/status/1955099965828526160

https://x.com/jxmnop/status/1955436067353502083

本文來自微信公眾號“機器之心”（ID：almosthuman2014），作者：Panda，36氪經(jīng)授權(quán)發(fā)布。

本文僅代表作者觀點，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請在文中注明來源及作者名字。

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請及時與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com