哦豁，OpenAI奧特曼又痛失一員大將。

Kevin Lu，曾領(lǐng)導(dǎo)4o - mini發(fā)布，還參與了o1 - mini、o3發(fā)布，主要研究強(qiáng)化學(xué)習(xí)、小模型和合成數(shù)據(jù)。

他的下一站是Thinking Machine Lab，這是OpenAI前CTO Mira Murati出走后新創(chuàng)立的AI公司，目前估值已達(dá)120億美元。

據(jù)不完全統(tǒng)計(jì)，Thinking Machine Lab已經(jīng)集結(jié)了數(shù)位OpenAI前核心研究員，像John Schulman、Barrett Zoph、翁荔等都在其中。

從Meta到OpenAI，再離開

Kevin Lu畢業(yè)于UC伯克利，主要研究強(qiáng)化學(xué)習(xí)和離線序列數(shù)據(jù)建模。

畢業(yè)后，他先后加入了Hudson River Trading和Meta，在2024年3月加入了OpenAI。

入職3個(gè)月后，他領(lǐng)導(dǎo)團(tuán)隊(duì)完成了4o - mini，這是一個(gè)多模態(tài)推理小模型。它支持圖文輸入、長上下文，適合復(fù)雜任務(wù)，同時(shí)速度更快、成本更低。

此外，他還參與了o1 - mini和o3的模型開發(fā)，主要擅長小模型和強(qiáng)化學(xué)習(xí)領(lǐng)域。

他引用量最高的一篇論文是《決策Transformer：通過序列建模進(jìn)行強(qiáng)化學(xué)習(xí)》，引用量達(dá)2254。

這篇論文發(fā)表于2021年，研究團(tuán)隊(duì)集結(jié)了UC伯克利、Meta AI、UCLA、OpenAI和Google Brain。

這是一個(gè)將強(qiáng)化學(xué)習(xí)問題視為條件序列建模的架構(gòu)，通過將自回歸模型基于期望回報(bào)（獎(jiǎng)勵(lì)）、過去的狀態(tài)和動(dòng)作進(jìn)行條件化，決策Transformer能夠生成期望回報(bào)的未來動(dòng)作。

近期，Kevin Lu一篇與他主要研究領(lǐng)域相關(guān)的博客有點(diǎn)出圈：互聯(lián)網(wǎng)才是唯一重要的技術(shù)。

他認(rèn)為現(xiàn)在對Transformer架構(gòu)的關(guān)注有點(diǎn)過高了，真正重要的還是數(shù)據(jù)。研究者們應(yīng)該關(guān)注如何從互聯(lián)網(wǎng)這樣的數(shù)據(jù)源中學(xué)習(xí)和預(yù)測，因?yàn)榛ヂ?lián)網(wǎng)提供了大量序列相關(guān)數(shù)據(jù)，非常適合進(jìn)行“下一個(gè)token預(yù)測”。

在少量數(shù)據(jù)的環(huán)境里，Transformer將失去價(jià)值。

他還覺得現(xiàn)在強(qiáng)化學(xué)習(xí)難以實(shí)現(xiàn)從GPT - 1到GPT - 4般的重大突破，應(yīng)該停止進(jìn)行強(qiáng)化學(xué)習(xí)研究，將注意力放在產(chǎn)品開發(fā)上。

強(qiáng)化學(xué)習(xí)的未來可能涉及到新的數(shù)據(jù)源和獎(jiǎng)勵(lì)機(jī)制創(chuàng)新，這可能是AI研究的新方向。

剛剛完成20億美元種子輪融資

Kevin Lu的下一站Thinking Machine Lab，是AI領(lǐng)域近期討論度很高的初創(chuàng)公司之一。

它由OpenAI前CTO Mira Murati聯(lián)合多位OpenAI前成員成立。

除了Mira本人外，團(tuán)隊(duì)核心成員已經(jīng)覆蓋AI領(lǐng)域目前的主要方向：

John Schulman，OpenAI聯(lián)創(chuàng)，ChatGPT架構(gòu)師

Barrett Zoph，OpenAI前研究副總裁，后訓(xùn)練專家

翁荔，OpenAI前AI安全系統(tǒng)負(fù)責(zé)人，專長AI安全

Andrew Tulloch，擅長預(yù)訓(xùn)練&推理

Luke Metz，專注后訓(xùn)練

Alexander Kirillov，OpenAI前多模態(tài)研究負(fù)責(zé)人

……

新加入的Kevin Lu，擅長小模型和強(qiáng)化學(xué)習(xí)。

根據(jù)LinkedIn信息，Kevin Lu已于7月正式從OpenAI離職。幾乎同時(shí)，Thinking Machine Lab完成破紀(jì)錄種子輪融資，估值飆升到120億美元。

而且在最近激烈的硅谷人才大戰(zhàn)中，Thinking Machine Lab獨(dú)善其身，十幾名成員無人接受小扎offer，10億美元薪酬都拒絕。

不過Thinking Machine Lab目前還未公開任何成果，倒是讓人更加期待了。

參考鏈接：

[1]https://x.com/miramurati/status/1945166365834535247[2]https://kevinlu.ai/

本文來自微信公眾號“量子位”，作者：明敏，36氪經(jīng)授權(quán)發(fā)布。

本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請?jiān)谖闹凶⒚鱽碓醇白髡呙帧?/p>

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請及時(shí)與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com