GPT-5的誕生之路可謂艱難重重，猶如在烈火中淬煉。一方面，人才不斷流失，Meta（小扎）挖走大量核心人員，導(dǎo)致團(tuán)隊(duì)內(nèi)部陷入混亂；另一方面，推理模型的難題讓研究者們頭疼不已，項(xiàng)目甚至一度停滯。近日，外媒曝光了GPT-5誕生背后的諸多內(nèi)幕。

外媒The Information披露了關(guān)于GPT-5的一系列最新內(nèi)幕消息。

比如，GPT-5在技術(shù)上并未實(shí)現(xiàn)重大突破，無法達(dá)到從GPT-3到GPT-4那種級別的躍升。

同時(shí)，OpenAI面臨著嚴(yán)重的數(shù)據(jù)瓶頸和技術(shù)難題。

更勁爆的是，Meta以高額薪酬挖走了OpenAI的大批核心研究者，直接造成OpenAI內(nèi)部組織架構(gòu)混亂。研究副總裁Jerry Tworek甚至在Slack上公開向研究主管Mark Chen抱怨此事，許多同事都看到了這一幕。

不過，在這篇唱衰文章發(fā)布的同時(shí)，OpenAI也迎來了好消息。

近期，OpenAI獲得了一筆巨額融資。據(jù)悉，它提前數(shù)月籌集了83億美元資金，使得公司估值直接達(dá)到3000億美元，這是今年400億美元融資計(jì)劃的一部分。

參與此輪融資的有眾多新投資者，其中Dragoneer投資集團(tuán)以28億美元領(lǐng)投，Blackstone、TPG、Fidelity、Founders Fund、紅杉資本等跟投。雖然Dragoneer是本輪融資的最大出資方，但軟銀仍是整個(gè)400億融資計(jì)劃的牽頭者。

GPT-5尚未發(fā)布，各方勢力就已紛紛入局，這讓人們對下周的情況充滿期待。

Orion折戟，GPT-5降級成4.5

去年備受關(guān)注的Orion，大家應(yīng)該還有印象。

The Information爆料，2024年下半年，OpenAI全力開發(fā)Orion模型，原本計(jì)劃將其作為GPT-5推出。與5月發(fā)布的旗艦?zāi)Ｐ虶PT-4o相比，Orion本應(yīng)實(shí)現(xiàn)巨大飛躍。

然而，其性能令人失望，最終只能降級為GPT-4.5，并于今年2月推出。上線后，GPT-4.5很快就淡出了公眾視野。

Orion失敗的核心原因在于，團(tuán)隊(duì)觸及了預(yù)訓(xùn)練階段的天花板。由于高質(zhì)量網(wǎng)絡(luò)數(shù)據(jù)日益匱乏，在訓(xùn)練小模型時(shí)有效的技巧，在大模型上卻不再適用。這不僅導(dǎo)致GPT-5延期，也讓OpenAI團(tuán)隊(duì)內(nèi)部陷入自我懷疑。

GPT-5難現(xiàn)GPT-3到GPT-4的跨越

故事要從去年12月說起。

當(dāng)時(shí)，OpenAI的研究者進(jìn)行了一項(xiàng)內(nèi)部測試，結(jié)果讓整個(gè)團(tuán)隊(duì)震驚。他們發(fā)現(xiàn)，給一個(gè)新模型更多算力和思考時(shí)間后，它在復(fù)雜推理和執(zhí)行任務(wù)方面表現(xiàn)出色。

但工程師們很快發(fā)現(xiàn)，這種興奮只是暫時(shí)的。當(dāng)將該模型轉(zhuǎn)化為o3聊天版本時(shí)，性能提升消失了。

這一事件是OpenAI今年面臨技術(shù)挑戰(zhàn)的縮影，導(dǎo)致內(nèi)部技術(shù)進(jìn)展緩慢，ChatGPT業(yè)務(wù)也受到影響。

GPT-5發(fā)布前夕，各種泄露和爆料不斷。

比如，它在編程和數(shù)學(xué)能力上有顯著提升，在驅(qū)動AI智能體方面也優(yōu)于前代模型，只需極少人工監(jiān)督就能處理復(fù)雜任務(wù)。它能遵循復(fù)雜指令，如支持智能體處理退款規(guī)則。但總體而言，這些改進(jìn)無法與GPT-3到GPT-4的性能飛躍相媲美。

這意味著我們可能要對GPT-5降低期待。不過，OpenAI模型的任何改進(jìn)，即使是漸進(jìn)式的，也能刺激客戶需求，給投資者信心，以支持其未來三年半燒掉450億的計(jì)劃，畢竟租用服務(wù)器成本高昂。

高管堅(jiān)信GPT-8的緣由

近期，有OpenAI高管向投資者透露，按照目前的架構(gòu)，他們相信模型有一天能達(dá)到GPT-8的水平。CEO奧特曼也表示，利用現(xiàn)有技術(shù)，OpenAI有望創(chuàng)造出AGI。

一位了解內(nèi)情的微軟員工揭示了其中的奧秘：測試GPT-5后發(fā)現(xiàn)，它在不增加算力的情況下，能生成更高質(zhì)量的代碼和文本。部分原因是它學(xué)會了精準(zhǔn)判斷不同任務(wù)所需的計(jì)算資源量。

內(nèi)部亂象叢生

OpenAI內(nèi)部并非風(fēng)平浪靜。

一些高級研究者抵觸將成果交給微軟，盡管微軟作為最大股東，合同權(quán)利到2030年。兩家公司在財(cái)務(wù)上緊密相連，但在具體合作條款上爭執(zhí)不斷。最新消息是，OpenAI重組營利性部門后，微軟可能獲得33%的股份。

Meta挖走大量團(tuán)隊(duì)成員，讓OpenAI內(nèi)部更加混亂。

人員流失嚴(yán)重，OpenAI只能緊急調(diào)整組織架構(gòu)。上周，研究副總裁Jerry Tworek在Slack上向研究主管Mark Chen抱怨團(tuán)隊(duì)變動，他原本表示要休假一周重新思考，但最終并未休假。

推理模型：絕境中的轉(zhuǎn)機(jī)

直到今年6月，OpenAI開發(fā)的模型都難以擔(dān)起GPT-5的名號。好在，“推理模型”成為新的突破口。

2023年末，名為Q*的技術(shù)突破引發(fā)了OpenAI研究者的關(guān)注，它能解決前所未有的數(shù)學(xué)問題?；赒*，OpenAI開發(fā)了多個(gè)推理模型，在獲得更多算力時(shí)表現(xiàn)更好，預(yù)訓(xùn)練的性能增長瓶頸有望被克服。

去年秋天，第一個(gè)推理模型o1推出。2024年底，OpenAI利用與o1基礎(chǔ)相同的GPT-4o，推出了推理模型o3。據(jù)說，o3的教師模型在理解科學(xué)知識方面比o1的教師模型進(jìn)步顯著。

一方面，OpenAI使用更多英偉達(dá)芯片開發(fā)o3教師模型，使其理解復(fù)雜概念的能力更強(qiáng)；另一方面，它具備搜索網(wǎng)絡(luò)和從代碼庫提取信息的能力，還受益于強(qiáng)化學(xué)習(xí)。在強(qiáng)化學(xué)習(xí)過程中，人類專家提出專業(yè)問題和答案，模型生成數(shù)千個(gè)回答，OpenAI利用與專家答案相同的“合成數(shù)據(jù)”訓(xùn)練模型。

推理模型的困境

o3模型發(fā)布后曾引發(fā)廣泛關(guān)注，但現(xiàn)實(shí)卻不盡如人意。

當(dāng)o3的教師模型轉(zhuǎn)換為學(xué)生模型，成為可讓人們提問的聊天版本時(shí)，性能顯著下降，甚至與o1無異。創(chuàng)建企業(yè)通過API購買的版本時(shí)，也出現(xiàn)了同樣的問題。

有知情人分析，o3理解概念的方式獨(dú)特，與人類交流方式差異大。將其轉(zhuǎn)化為聊天版本，會降低其智能水平，壓縮和扭曲推理鏈條。開發(fā)者調(diào)試時(shí)，偶爾能看到模型輸出類似“亂碼”的中間語言，這可能是它“思考”的原始形態(tài)。

也有人認(rèn)為，OpenAI在訓(xùn)練模型與人類有效溝通方面投入不足。由于o系列模型讓ChatGPT用戶困惑，公司決定回歸GPT命名體系。

“通用驗(yàn)證器”的希望

好在OpenAI還有應(yīng)對之策。

據(jù)悉，內(nèi)部正在開發(fā)“通用驗(yàn)證器”，可自動確保模型在強(qiáng)化學(xué)習(xí)過程中產(chǎn)生高質(zhì)量答案。其本質(zhì)是讓一個(gè)大語言模型（LLM）檢查和評估另一個(gè)模型的答案，并利用各種信息源進(jìn)行核實(shí)。

此前，OpenAI的模型在數(shù)學(xué)競賽中獲得金牌后，高級研究員Alexander Wei在X上表示，所使用的強(qiáng)化學(xué)習(xí)方法是“通用”的。這意味著該模型不僅能檢查編程等有標(biāo)準(zhǔn)答案的內(nèi)容，還能判斷寫作等主觀性強(qiáng)的內(nèi)容質(zhì)量。這對GPT-5的發(fā)展有極大幫助。

OpenAI強(qiáng)化學(xué)習(xí)團(tuán)隊(duì)負(fù)責(zé)人Tworek表示，OpenAI模型背后的強(qiáng)化學(xué)習(xí)系統(tǒng)具備通往AGI的潛力。目前，xAI和谷歌等AI大廠都加大了對強(qiáng)化學(xué)習(xí)的投入。

上周，Altman在播客節(jié)目中描述GPT-5的能力，稱它輕松解決了一個(gè)他看不懂的問題，讓他感到震驚。這進(jìn)一步點(diǎn)燃了人們對GPT-5的期待。

“在幾乎所有方面，GPT-5都比我們更聰明?！本烤故裁礃拥哪Ｐ筒排涞蒙螱PT-5的稱號？我們無需等待太久。

參考資料：

https://www.theinformation.com/articles/inside-openais-rocky-path-gpt-5?rc=epv9gi

本文來自微信公眾號“新智元”，作者：新智元，36氪經(jīng)授權(quán)發(fā)布。

本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請?jiān)谖闹凶⒚鱽碓醇白髡呙帧?/p>

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請及時(shí)與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com