OpenAI 開始訓(xùn)練下一個(gè)前沿模型。

創(chuàng)始人，首席科學(xué)家 Ilya Sutskever 官方宣布辭職，非常對齊團(tuán)隊(duì)解散后，OpenAI 這項(xiàng)研究的安全性一直受到質(zhì)疑。

如今，OpenAI 股東大會(huì)宣布成立新的安全保障委員會(huì)，由董事會(huì)成立。 Bret Taylor(董事會(huì)主席)、Adam D’Angelo、Nicole Seligman 和山姆?奧特曼（CEO）領(lǐng)導(dǎo)者。委員會(huì)負(fù)責(zé) OpenAI 向全體股東大會(huì)提出項(xiàng)目和運(yùn)營的關(guān)鍵安全決策建議。

同時(shí)，OpenAI 同時(shí)也宣布最近開始訓(xùn)練下一個(gè)前沿模型，并且預(yù)計(jì)最后一個(gè)系統(tǒng)會(huì)使它成為一個(gè)前沿模型 OpenAI 在通往 AGI 在道路上達(dá)到新的能力水平。

在未來，安全和保障委員會(huì)的首要任務(wù)是 90 天內(nèi)評估并進(jìn)一步發(fā)展 OpenAI 開發(fā)過程及保障措施。 90 當(dāng)天結(jié)束后，安全和保障委員會(huì)將與全體股東分享他們的建議。經(jīng)股東大會(huì)全面審查，OpenAI 將以符合安全保障的方式公開分享已經(jīng)采納的建議的最新情況。

OpenAI 技術(shù)與戰(zhàn)略專家 Aleksander Madry、Lilian Weng、John Schulman、Matt Knight 和 Jakub Pachocki 同時(shí)也是安全保障委員會(huì)成員。

此外，OpenAI 也可以咨詢其他人 AI 安全性研究者和技術(shù)專家為他們的安全和保障提供支持。

安全性問題積重難返

就在 OpenAI 前董事會(huì)成員在準(zhǔn)備拾起安全保障工作時(shí)， Helen Toner 談到奧特曼在一個(gè)播客節(jié)目中的辭退。令人驚訝的是，Helen Toner 表示前股東大會(huì)在那里 Twitter 上獲知 ChatGPT 的發(fā)布。

2023 年 11 月 OpenAI 的「宮斗事件」令人印象深刻的是，股東大會(huì)突然免了。 OpenAI 共同創(chuàng)始人兼首席執(zhí)行官奧特曼，這一舉動(dòng)震驚了所有人。

那時(shí)到底發(fā)生了什么？Helen Toner 在 TED AI Show 在接受播客采訪時(shí)，從她的角度講述了導(dǎo)致董事會(huì)成員不再信任奧特曼的原因，以及奧特曼最終如何回歸。 OpenAI。

據(jù) Helen Toner 上述：「目前，董事會(huì)決定聘用新的。 CEO 之后，他們認(rèn)為唯一的辦法就是背著奧特曼去做。因?yàn)榇蠹叶己芮宄?，只要奧特曼意識(shí)到股東大會(huì)可能會(huì)做一些對他不利的事情，他就會(huì)盡最大努力破壞股東大會(huì)解雇他的計(jì)劃?！?/p>

股東會(huì)之所以不再信任奧特曼，是因?yàn)樗麤]有告訴股東會(huì)他擁有。 OpenAI 風(fēng)險(xiǎn)投資基金；另外一個(gè)原因是他在多個(gè)場合提供了關(guān)于公司安全流程的不準(zhǔn)確信息。

此外，在「宮斗事件」以前，奧特曼曾和 Toner 發(fā)生過矛盾，Toner 與其它研究人員合作撰寫了一篇關(guān)于人工智能安全的論文，批評論文 OpenAI 掀起的「AI 軍備競賽」，這篇文章激怒了奧特曼，他認(rèn)為這損害了公司的利益。隨后，奧特曼開始私下聯(lián)系其他董事會(huì)成員，試圖說服他們解雇。 Toner。

他們描述了兩位高管告訴股東會(huì)他們與奧特曼打交道的經(jīng)歷， OpenAI 極端的氣氛，指責(zé)奧特曼「心理凌虐」，并且提供了奧特曼「撒謊和操縱在不同的前提下」股東大會(huì)最終采取了行動(dòng)的證據(jù)。

值得注意的是，Toner 以 ChatGPT 舉個(gè)例子，說明前董事會(huì)對企業(yè)沒有真正的監(jiān)管。

「當(dāng) ChatGPT 于 2022 年 11 每月推出時(shí)，股東大會(huì)沒有提前通知。我們正在 Twitter 上了解到 ChatGPT」，Toner 說出來。這個(gè)聽起來很不合理，甚至有些荒誕。

也許這就是前任股東會(huì)和 OpenAI 管理層，特別是奧特曼之間的沖突。而且奧特曼又回來了。 OpenAI 之后，CEO的職位不但恢復(fù)了，OpenAI 股東大會(huì)也進(jìn)行了重組。

現(xiàn)任董事會(huì)主席 Bret Taylor 快速就 Toner 回應(yīng)播客所講述的事情：

我們對 Toner 婦女對這些問題的重新審視感到失望。一個(gè)獨(dú)立的董事會(huì)委員會(huì)和 Wilmer Hale 律師事務(wù)所合作，對 2023 年 11 這個(gè)月的事件已經(jīng)普遍進(jìn)行了審查。通過審查得出的結(jié)論是，前任股東大會(huì)的決定并非基于產(chǎn)品質(zhì)量保證、開發(fā)速度、OpenAI 對于投資者、客戶或業(yè)務(wù)伙伴的聲明，財(cái)務(wù)或其焦慮。此外，超出 95% 員工(包括高級領(lǐng)導(dǎo))要求恢復(fù) Sam 首席執(zhí)行官職位，要求前任股東離職。我們的重點(diǎn)仍然是繼續(xù)前進(jìn)和追求。 OpenAI 保證使命 AGI 惠及人類。

很明顯，現(xiàn)任股東大會(huì)同意支持奧特曼工作。而且奧特曼在新成立的安全保障委員會(huì)中仍處于領(lǐng)先地位。

前安全負(fù)責(zé)人加入競爭者 Anthropic

當(dāng)每個(gè)人都在聚焦眼睛的時(shí)候。 OpenAI 在新成立的安全團(tuán)隊(duì)中，曾領(lǐng)導(dǎo)過 OpenAI 很好的對齊團(tuán)隊(duì)的共同領(lǐng)導(dǎo)。 Jan Leike 宣布正式加入 OpenAI 競爭者 Anthropic，繼續(xù)從事非常對齊的研究。新團(tuán)隊(duì)將致力于可擴(kuò)展監(jiān)管、從弱到強(qiáng)的泛化和自動(dòng)校正的研究。

OpenAI 一個(gè)非常對齊的團(tuán)隊(duì)成立 2023 年，由 OpenAI 創(chuàng)始人 Ilya Sutskever 與 Leike 這個(gè)團(tuán)隊(duì)的任務(wù)是確保人工智能與其制造商的目標(biāo)一致，而不是做出不可預(yù)測的行為，傷害人類。

今年 5 月 14 日， Ilya 發(fā)推宣布辭職。和 Ilya 還有一些同步宣布離開 Leike。由于兩位高管離職，OpenAI 超級對齊團(tuán)隊(duì)已經(jīng)解散。

Leike 在 X 一篇文章解釋了他辭去團(tuán)隊(duì)聯(lián)合領(lǐng)導(dǎo)職務(wù)的原因。他寫道：「相當(dāng)長的一段時(shí)間到現(xiàn)在，我已經(jīng)和我在一起了。 OpenAI 在我們最終達(dá)到臨界點(diǎn)之前，領(lǐng)導(dǎo)層對公司核心優(yōu)先事項(xiàng)的看法存在分歧?！?/p>

Leike 他曾被解釋加入 OpenAI 原因，他認(rèn)為 OpenAI 這將在世界范圍內(nèi)進(jìn)行 AI 最好的安全研究場所，但是他已經(jīng)和他在一起很久了 OpenAI 在最終達(dá)到臨界點(diǎn)之前，領(lǐng)導(dǎo)層對公司的核心優(yōu)先事項(xiàng)有不同的看法。Leike 覺得 OpenAI 追求通用人工智能 (AGI) 安全性應(yīng)優(yōu)先選擇。

此外，OpenAI 去年沒有實(shí)施 7 月亮宣布了對齊團(tuán)隊(duì)的承諾。根據(jù)《財(cái)富》雜志援引知情人士的話報(bào)道，該團(tuán)隊(duì)對此表示。 GPU 應(yīng)用請求一再被拒絕，而且從來沒有接近過得到它的承諾。 20% 計(jì)算能力預(yù)算。

在離開 OpenAI 在之后的一篇帖子中，Leike 表示：「由于我們迫切需要弄清楚如何引導(dǎo)和控制比我們聰明得多的人工智能系統(tǒng)，所以離開這份工作對我來說是最困難的?！惯@可能就是 Leike 選擇短期內(nèi)加入 Anthropic 的原因。

自 OpenAI 于 2022 年末推出 ChatGPT 到目前為止，人工智能安全在整個(gè)技術(shù)領(lǐng)域得到了迅速的重視，并且引發(fā)了人工智能產(chǎn)品和投資的熱潮。一些業(yè)內(nèi)人士表示擔(dān)憂，如果企業(yè)過快向公眾發(fā)布強(qiáng)大的人工智能產(chǎn)品，而不充分考慮潛在的社會(huì)危害，是否會(huì)造成巨大的危害。對這個(gè)問題，還沒有統(tǒng)一的答案。但 AI 安全到哪里去，值得大家認(rèn)真審視。

參考鏈接：

https://x.com/TEDTalks/status/1795532752520966364

https://twitter.com/janleike/status/1795497960509448617

本文來自微信微信官方賬號(hào)“機(jī)器之心”（ID：編輯：小舟，陳萍，36氪經(jīng)授權(quán)發(fā)布，almosthuman2014)。

本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請?jiān)谖闹凶⒚鱽碓醇白髡呙帧?/p>

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請及時(shí)與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com