Ilya正式宣布辭職,對(duì)齊負(fù)責(zé)人Jan直接辭職,OpenAI還是分手了。
今天,OpenAI 創(chuàng)始人,首席科學(xué)家 Ilya Sutskever 發(fā)推宣布辭職。
在 OpenAI 工作近 10 幾年后,我決定離開(kāi)。OpenAI 這條發(fā)展軌跡可謂奇跡,我相信, OpenAI 會(huì)到 Sam Altman、Greg Brockman 和 Mira Murati 在領(lǐng)導(dǎo)下,以及 Jakub Pachocki 在優(yōu)秀的研究指導(dǎo)下,建設(shè)安全有益 AGI。
我很榮幸能一起工作,我會(huì)非常想念你。這么久了,謝謝你們所做的一切。我對(duì)接下來(lái)發(fā)生的事情感到興奮。接下來(lái)的項(xiàng)目對(duì)我來(lái)說(shuō)很有意義,我會(huì)在適當(dāng)?shù)臅r(shí)候分享細(xì)節(jié)。
Ilya Sutskever 還分享了與 Sam Altman、Greg Brockman 和 Mira Murati 等待合照。
OpenAI CEO 在推特上,奧特曼發(fā)了一條消息,Ilya 與 OpenAI 各奔東西都很傷心。
Ilya 毫無(wú)疑問(wèn),它是我們這一代最偉大的思想家之一,是我們領(lǐng)域的指路明燈,也是我最好的朋友。他的才華和遠(yuǎn)見(jiàn)是眾所周知的;他的溫暖和同情沒(méi)有那么廣為人知,但同樣重要。
沒(méi)有他,OpenAI 不會(huì)是今天的樣子。雖然他有一件對(duì)她有重要個(gè)人意義的事情要做,但我總是感謝他在這里做的一切,并致力于完成我們共同開(kāi)始的使命。我很高興能夠如此接近這樣一個(gè)真正非凡的天才,如此專注于給人類帶來(lái)最好的未來(lái)。
Jakub Pachocki 我們將成為新的首席科學(xué)家。Jakub 毫無(wú)疑問(wèn),它是我們這一代最偉大的思想家之一;我很高興他會(huì)在這里接過(guò)接力棒。他負(fù)責(zé)我們?cè)S多最重要的項(xiàng)目,我相信他會(huì)帶領(lǐng)我們快速安全地走向通用人工智能。(AGI)造福所有人的使命前進(jìn)。
即將成為下一個(gè) OpenAI 首席科學(xué)家 Jakub Pachocki 還有自己的前任 Ilya 表示感謝。
Ilya 多年來(lái),我一直是我的導(dǎo)師和偉大的合作者,把我?guī)肓艘粋€(gè)深度學(xué)習(xí)的世界。他對(duì)深度學(xué)習(xí)的不可思議愿景變成了 OpenAI 和 AI 現(xiàn)在這個(gè)領(lǐng)域的基礎(chǔ)。非常感謝他和我們進(jìn)行了無(wú)數(shù)次的對(duì)話,從相關(guān)的 AI 未來(lái)前進(jìn)的高層討論,到深入的技術(shù)白板大會(huì)。Ilya,我會(huì)懷念和你一起工作的日子。
據(jù) OpenAI 網(wǎng)站介紹,新任 OpenAI 首席科學(xué)家 JakubPachocki 擁有卡內(nèi)基梅隆大學(xué)理論計(jì)算機(jī)科學(xué)博士學(xué)位, 2017 多年來(lái)一直領(lǐng)導(dǎo) OpenAI 變革研究計(jì)劃。在此之前,他曾擔(dān)任過(guò) OpenAI 研究總監(jiān),也是開(kāi)發(fā) GPT-4 和 OpenAI Five 領(lǐng)導(dǎo)者,也包括大規(guī)模的領(lǐng)導(dǎo)者 RL 以及深度學(xué)習(xí)提升的基礎(chǔ)研究。
OpenAI 表示:「為了擴(kuò)大深度學(xué)習(xí)體系,他重新調(diào)整了公司愿景,發(fā)揮了重要作用?!?/p>
至此,Ilya Sutskever 和 OpenAI 八年的故事結(jié)束了。
與 Ilya 同步宣布離開(kāi)的,還有很對(duì)齊團(tuán)隊(duì)的共同領(lǐng)導(dǎo)。 Jan Leike。
而且我們都記得,2023年7月才建立了一個(gè)非常對(duì)齊的團(tuán)隊(duì),目標(biāo)是「在 OpenAI 在大量計(jì)算的支持下, 2027 每年解決這一問(wèn)題(對(duì)齊)?!?/p>
現(xiàn)在,兩人同時(shí)離開(kāi),只留下未竟的事業(yè)。 Ilya 在下一步的計(jì)劃中,「非常對(duì)齊」到底要不要做?
童年生活動(dòng)蕩,本科期間拜入。 Hinton 門(mén)下
事實(shí)上,即使在一個(gè)沒(méi)有的時(shí)候, OpenAI 的世界中,Ilya Sutskever 仍然會(huì)載入人工智能史冊(cè)。
Ilya Sutskever 他出生在前蘇聯(lián),五歲時(shí)和家人一起移民耶路撒冷(所以他精通俄語(yǔ)、希伯來(lái)語(yǔ)和英語(yǔ)),2002年。 每年搬到加拿大生活。
在多倫多大學(xué)讀本科期間,Ilya Sutskever 從一個(gè)叫做「在隨機(jī)領(lǐng)域改進(jìn)嵌入式算法」項(xiàng)目開(kāi)始,開(kāi)始和開(kāi)始。 Geoffrey Hinton 合作,后來(lái)在攻讀博士學(xué)位時(shí)正式加入。 Hinton 團(tuán)隊(duì)。
我們都熟悉后來(lái)的事情:2012 年,Hinton 帶著 Ilya Sutskever 還有另外一個(gè)研究生 Alex Krizhevsky 建立了一個(gè)名字 AlexNet 神經(jīng)網(wǎng)絡(luò),其識(shí)別照片中物體的能力遠(yuǎn)遠(yuǎn)超過(guò)了當(dāng)時(shí)的其它系統(tǒng)。
Ilya Sutskever(左)、Alex Krizhevsky(中)、Geoffrey Hinton(右)
Geoffrey Hinton、Yann LeCun、Yoshua Bengio 成為深度學(xué)習(xí)三巨頭,并在 2018 每年都有圖靈獎(jiǎng)獲獎(jiǎng),獲獎(jiǎng)的理由是「神經(jīng)網(wǎng)絡(luò)方面的研究成果」。
但當(dāng) Ilya Sutskever 在 21 世紀(jì)初加入 Hinton 在團(tuán)隊(duì)中,大多數(shù)人工智能研究者認(rèn)為神經(jīng)網(wǎng)絡(luò)是一條死路。
「由于與 Geoffrey 合作,我有機(jī)會(huì)研究一些這個(gè)時(shí)代最重要的科學(xué)問(wèn)題,并追求大多數(shù)科學(xué)家極不認(rèn)同,但事實(shí)證明,這是完全正確的。」Ilya Sutskever 后來(lái)在一次采訪中說(shuō)。
AlexNet 這是深度學(xué)習(xí)的爆發(fā)。經(jīng)過(guò)多年的失敗,他的團(tuán)隊(duì)最早證明了模式識(shí)別問(wèn)題可以解決。 —— 秘密決定是一種深度神經(jīng)網(wǎng)絡(luò),經(jīng)過(guò)大量的數(shù)據(jù)和計(jì)算率訓(xùn)練。
這一理念從計(jì)算機(jī)視覺(jué)延伸到自然語(yǔ)言理解領(lǐng)域,同樣是 ChatGPT 取得今天成就的關(guān)鍵因素,包括 Sora 這兩點(diǎn)對(duì)于視頻生成的成功也是不可或缺的。
2012 年畢業(yè)后,Ilya Sutskever 跟隨吳恩達(dá)在斯坦福大學(xué)做了兩個(gè)月的博士后,又回到多倫多大學(xué),加入了多倫多大學(xué)。 Hinton 研究小組的衍生公司 DNNResearch 。
2013 年 3 月,Google 收購(gòu)了 DNNResearch,聘請(qǐng)了 Ilya Sutskever 擔(dān)任 Google Brain 研究科學(xué)家。
「Ilya 對(duì)于知識(shí)一直很感興趣,」現(xiàn)任谷歌首席科學(xué)家 Jeff Dean 說(shuō):「對(duì)于事物的發(fā)展方向,他有很強(qiáng)的直覺(jué)?!?/p>
在谷歌,Ilya Sutskever 在數(shù)據(jù)序列中展示了如何深入學(xué)習(xí)的模式識(shí)別能力,包括單詞和句子。他和他 Oriol Vinyals 和 Quoc Le 在序列中創(chuàng)建合作序列(Seq2seq)學(xué)習(xí)算法,深度參與 TensorFlow 研究,也是如此 AlphaGo 許多論文作者之一。
加入 OpenAI,帶頭 GPT 系列研發(fā)
對(duì)于知識(shí)的濃厚興趣,或許會(huì)促進(jìn) Ilya Sutskever 加入 OpenAI 的步伐。
2015 年 7 月,Ilya Sutskeve 參與了 Y Combinator 總裁 Sam Altman 在 Sand Hill Road 一家餐館舉行的宴會(huì),在那里遇見(jiàn)了 Elon Musk 和 Greg Brockman。
那個(gè)晚宴誕生了 OpenAI。在場(chǎng)的人就一件事達(dá)成了共識(shí):這需要一個(gè)沒(méi)有任何競(jìng)爭(zhēng)激勵(lì)機(jī)制的非營(yíng)利組織來(lái)淡化其使命,也需要世界上最好的人工智能研究人員。
2015 年末,Ilya Sutskever 以「研究總監(jiān)」頭銜開(kāi)始領(lǐng)導(dǎo) OpenAI 這一組織的研究和運(yùn)作也吸引了世界上幾位著名的人工智能研究者,包括「GAN 鼻祖」 Ian Goodfellow、UC 伯克利的 Pieter Abbeel 以及 Andrej Karpathy。
這個(gè)新公司擁有它 10 資金支持億美元,來(lái)自 Sam Altman、Elon Musk、Peter Thiel、Microsoft、Y Combinator 而其他公司,從一開(kāi)始就把目光投向了其他公司。 AGI,即使在那個(gè)時(shí)候,很少有人認(rèn)真對(duì)待這個(gè)前景。
不過(guò),最初的 OpenAI 但是舉步維艱。Ilya Sutskever 說(shuō):「在咱們啟動(dòng) OpenAI 有一段時(shí)間,我不確定如何繼續(xù)取得進(jìn)展。但是我有一個(gè)非常明確的信念,那就是我不能和深度學(xué)習(xí)賭博。不知怎么的,每次遇到障礙,研究人員都要在半年或者一年內(nèi)找到繞過(guò)它的方法。」
2016 年,OpenAI 的第一個(gè) GPT 出現(xiàn)了大型語(yǔ)言模型。 GPT-2 到 GPT-模型能力越來(lái)越強(qiáng),證明了這條路線的具體準(zhǔn)確性。每次發(fā)布,OpenAI 每個(gè)人的想象力上限都在不斷提高。
但 Ilya Sutskever 但透露,真正讓步 OpenAI 出圈的 ChatGPT 公司內(nèi)部對(duì)此的期望值在發(fā)布時(shí)非常低:「當(dāng)你問(wèn)它一個(gè)事實(shí)問(wèn)題時(shí),它會(huì)給你一個(gè)錯(cuò)誤的答案。我以為會(huì)不起眼,大家都會(huì)說(shuō):你為什么這么做?太無(wú)聊了!」
將 GPT 模型包裝在易于使用的網(wǎng)頁(yè)上,并且免費(fèi)開(kāi)放,讓數(shù)十億人首次了解到 OpenAI 正在建造的東西。在此之前, ChatGPT 大型語(yǔ)言模型在背后已經(jīng)存在了幾個(gè)月。
ChatGPT 創(chuàng)始團(tuán)隊(duì)的成功,引起了前所未有的關(guān)注。
2023 年,OpenAI 首席執(zhí)行官 Sam Altman 在外聯(lián)旅行了幾個(gè)星期之后,花了大半個(gè)夏天的時(shí)間。 —— 與政治家交談,在世界各地座無(wú)虛席的禮堂發(fā)表演講。
作為首席科學(xué)家,Ilya Sutskever 保持低調(diào)的風(fēng)格,不經(jīng)常接受采訪。與其他公司創(chuàng)始人不同,他們是公眾人物,但他們把更多的精力放在了上面。 GPT-4 上。
他對(duì)討論自己的個(gè)人生活不感興趣:「我的生活很簡(jiǎn)單。去工作,然后回家。我不做別的事。一個(gè)人可以參加很多社交活動(dòng),參加很多活動(dòng),但是我不會(huì)去?!?/p>
ChatGPT 結(jié)果給他帶來(lái)了什么?
今年早些時(shí)候,Hinton 曾經(jīng)公開(kāi)表示害怕自己協(xié)助發(fā)明的技術(shù):「我從來(lái)沒(méi)有見(jiàn)過(guò)更全面的智能水平的東西被遠(yuǎn)低智能水平的東西控制的例子?!?/p>
作為 Hinton 的學(xué)生,Ilya Sutskever 這句話沒(méi)有發(fā)帖,但是他對(duì)超級(jí)智能負(fù)面影響的關(guān)注表明他們是同道中人。
隨著 GPT-4 以及后續(xù)一系列更強(qiáng)大的大語(yǔ)言模型更新, Ilya Sutskever 這是代表的一部分 OpenAI 成員們?cè)絹?lái)越擔(dān)心 AI 可控性問(wèn)題。
在 OpenAI 沸沸揚(yáng)揚(yáng)的「宮斗」事件之前,Ilya 曾受到過(guò) MIT 采訪科技評(píng)論記者。
他指出,他的工作重點(diǎn)不再是制造下一代。 GPT 或者圖像制造機(jī) DALL-E,而是研究如何阻止人工超級(jí)智能的失控(他認(rèn)為這是一種假設(shè)性的未來(lái)技術(shù),具有遠(yuǎn)見(jiàn))。
「Sutskever 還告訴了我很多其他的事情。 —— 他認(rèn)為 ChatGPT 也許有目的(如果你瞇著眼睛看的話)。」這位記者寫(xiě)道。
Ilya Sutskever 感覺(jué),世界需要清醒地認(rèn)識(shí)到。 OpenAI 以及其他公司正在努力創(chuàng)造的技術(shù)的真正力量。同時(shí),他也認(rèn)為,總有一天人類會(huì)選擇與機(jī)器結(jié)合。
人工智能水平一旦超過(guò)人類,人類應(yīng)該如何監(jiān)督比我們聰明得多的人工智能系統(tǒng)?
OpenAI 在 2023 年 7 月建立了「非常對(duì)齊」(Superalignment)該團(tuán)隊(duì)的目標(biāo)是在四年內(nèi)處理超智能。 AI 對(duì)齊問(wèn)題。Ilya Sutskever 它是這個(gè)項(xiàng)目的領(lǐng)導(dǎo)者之一,OpenAI 表示會(huì)把 20% 計(jì)算率是專門(mén)用來(lái)研究這個(gè)項(xiàng)目的。
一次采訪中, Ilya Sutskever 大膽地推測(cè),如果模型能很好地預(yù)測(cè)下一個(gè)詞,那就意味著它能理解造成這個(gè)詞的深刻現(xiàn)實(shí)。如果是這樣,那就意味著 AI 按照現(xiàn)在的路徑發(fā)展下去,也許在不久的將來(lái),一個(gè)超越人類的人工智能系統(tǒng)就會(huì)誕生。但是更令人擔(dān)憂的是,「超人工智能」也許會(huì)帶來(lái)一些意想不到的負(fù)面后果。這便是「對(duì)齊」的意義。
該團(tuán)隊(duì)的第一個(gè)結(jié)果發(fā)表在這個(gè)團(tuán)隊(duì)。 2023 年 12 月:使用 GPT-2 監(jiān)督等級(jí)的小模型 GPT-4 可以獲得接近等級(jí)的大型模型 GPT-3.5 等級(jí)性能,開(kāi)辟了對(duì)超人模型進(jìn)行實(shí)證對(duì)齊的新研究?jī)?nèi)容。
同時(shí),OpenAI 宣布與 Eric Schmidt 合作,開(kāi)始了一個(gè)項(xiàng)目 1000 為確保超人類人工智能系統(tǒng)的一致性和安全性,萬(wàn)美元資助計(jì)劃支持技術(shù)研究。
伴隨著兩個(gè)團(tuán)隊(duì)領(lǐng)導(dǎo)的離開(kāi),對(duì)齊團(tuán)隊(duì)的未來(lái)變得有些渺茫。
與 OpenAI 創(chuàng)業(yè)團(tuán)隊(duì)決裂
就今天的結(jié)果而言,Ilya Sutskever 應(yīng)當(dāng)是和 Sam Altman 所代表的派系產(chǎn)生了不可消除的矛盾。
由于關(guān)于「宮斗事件」的過(guò)程,OpenAI 董事長(zhǎng)兼創(chuàng)始人 Greg Brockman 說(shuō)法是:
Sam 接受首席科學(xué)家 Ilya Sutskever 發(fā)送要求周五中午通信短信。Sam 用 Google Meet 除了這次會(huì)議,我參加了會(huì)議。 Greg 此外,整個(gè)董事會(huì)成員都參加了這次會(huì)議。Ilya Sutskever 告知 Sam 他被解雇了,消息很快就傳開(kāi)了。
當(dāng)天中午 12:19,Greg 收到 Ilya Sutskever 發(fā)送短信,要求盡快通過(guò)電話溝通。12:23,Ilya Sutskever 收到 Google Meet 大會(huì)鏈接。Greg 有人告訴他,他從股東大會(huì)中除名(但是他對(duì)公司特別重要,并且會(huì)保留他的職位), Sam 已被解雇。大概在同一時(shí)間,OpenAI 公告已經(jīng)發(fā)布。
OpenAI 在公告中稱 Altman 對(duì)于股東會(huì)來(lái)說(shuō)不夠坦誠(chéng)。有些人解釋如下:OpenAI 也許已經(jīng)在內(nèi)部完成了 AGI,但是沒(méi)有及時(shí)同步消息給更多的人,為了避免這項(xiàng)技術(shù)被大規(guī)模應(yīng)用,沒(méi)有經(jīng)過(guò)安全評(píng)估,Ilya 等待按下緊急停止按鈕。
據(jù) The Information 的報(bào)道,在 OpenAI 當(dāng)天舉行的全員會(huì)議,Ilya Sutskever 承認(rèn)員工說(shuō)的話是一個(gè)場(chǎng)合?!刚儭?。他指出「你們可以這么說(shuō)(是政變),但是我認(rèn)為這只是董事會(huì)在履行職責(zé)。」
這一切當(dāng)然都只是猜測(cè)。
11 月末,Sam Altman 正式回歸 OpenAI。大局已定,Ilya Sutskever 不要馬上離開(kāi) OpenAI,但是也沒(méi)有再出現(xiàn) OpenAI 舊金山辦公室。
Sam Altman 表達(dá)對(duì) Ilya Sutskever 謝謝,并希望繼續(xù)彼此之間的工作關(guān)系:「我尊敬和熱愛(ài) Ilya,在我看來(lái),他是這一領(lǐng)域的指路明燈,也是人類的瑰寶。我對(duì)他的惡意為零?!?/p>
Y Combinator 投資總經(jīng)理 Dalton Caldwell 曾回憶:「我記得 Sam Altman 說(shuō)過(guò) Ilya 他認(rèn)為,他是世界上受人尊敬的研究者之一。 Ilya 能吸引許多頂尖的人工智能人才。他甚至提到,世界頂級(jí)人工智能學(xué)者 Yoshua Bengio 感覺(jué),找不到比例 Ilya 更好的候選人來(lái)?yè)?dān)任 OpenAI 首席科學(xué)家?!?/p>
最后接任的 Jakub Pachocki,或許也是 OpenAI 股東將仔細(xì)考慮未來(lái)的選擇。Jakub 2017 年就加入了 OpenAI,那是他離開(kāi)學(xué)校后的第一份工作。
What did Ilya see?
關(guān)于 Ilya 離開(kāi) OpenAI 這個(gè)謠言實(shí)際上已經(jīng)傳播了很長(zhǎng)時(shí)間。 OpenAI 發(fā)生「宮斗」、Sam Altman 被趕出 OpenAI 那時(shí),有人傳言說(shuō) Ilya「看見(jiàn)一些東西」,這是足夠強(qiáng)大的東西,讓他對(duì) AI 擔(dān)心未來(lái),并重新思考。 AI 發(fā)展。但是他到底看到了什么,目前還沒(méi)有人知道。
其實(shí),Ilya 這種擔(dān)心不是真的 ChatGPT 只有出來(lái)之后才有。在拍攝于 2016 年到 2019 一段2008年的視頻,Ilya 曾表示,在 AGI 實(shí)現(xiàn)的那一天,AI 人類可能并不討厭,但是他們對(duì)待人類的方式可能就像對(duì)待動(dòng)物一樣。人類可能無(wú)意傷害動(dòng)物,但是如果你想修建一條城際高速公路,你不會(huì)向動(dòng)物尋求建議,而是直接去做。面對(duì)這樣的情況,AI 也許還會(huì)自然而然地做出類似的選擇。這是 Ilya 的 AI 哲學(xué)觀。
它解釋了為什么 Ilya 總是對(duì) AI 進(jìn)步憂心忡忡,專注于進(jìn)步, AI 對(duì)齊(讓 AI 與人類價(jià)值觀相匹配)工作。
Ilya 何去何從?
同樣是半途而廢 OpenAI 馬斯克的創(chuàng)始成員 Ilya Sutskever 拋出橄欖枝,表示 Ilya Sutskever 應(yīng)該加入特斯拉或者 xAI。那是他的下一步計(jì)劃嗎?
鑒于加州沒(méi)有禁止競(jìng)爭(zhēng)的規(guī)定,Ilya Sutskever 可立即到另一家公司工作或創(chuàng)辦另一家公司。
另外一個(gè)著名的人 OpenAI 員工 Andrej Karpathy 就曾在離開(kāi) OpenAI 接著放入特斯拉,然后從特斯拉回來(lái) OpenAI,不久前又宣布離開(kāi)。2023 年底的「宮斗事件」發(fā)生時(shí),Karpathy 休假的時(shí)候,完全是「局外人」,但卻比 Ilya 提前辦理離職手續(xù)。
真相到底是什么?不知還有沒(méi)有機(jī)會(huì)知道。
Ilya Sutskever 說(shuō)了很多話也許有點(diǎn)狂野,但是現(xiàn)在看這個(gè)節(jié)點(diǎn),已經(jīng)不像一兩年前那樣讓人感覺(jué)到了?!腐偪瘛鼓莻€(gè)。正如他所說(shuō),ChatGPT 已改寫(xiě)了許多人對(duì)未來(lái)的期望,「永遠(yuǎn)不會(huì)發(fā)生」變成了「它會(huì)發(fā)生得比你想象的更快?!?。
參考鏈接:
https://twitter.com/sama/status/1790518031640347056
https://twitter.com/ilyasut/status/1790517455628198322
本文來(lái)自微信微信官方賬號(hào)“機(jī)器之心”(ID:作者:機(jī)器之心,36氪經(jīng)授權(quán)發(fā)布,almosthuman2014)。
本文僅代表作者觀點(diǎn),版權(quán)歸原創(chuàng)者所有,如需轉(zhuǎn)載請(qǐng)?jiān)谖闹凶⒚鱽?lái)源及作者名字。
免責(zé)聲明:本文系轉(zhuǎn)載編輯文章,僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布,請(qǐng)及時(shí)與我們聯(lián)系進(jìn)行審核處理或刪除,您可以發(fā)送材料至郵箱:service@tojoy.com