在OpenAI離職潮中，另一名研究人員正式宣布辭職，并發(fā)出“警告”信息：

Ilya和Jan Leike的焦慮是我的擔(dān)心，還有一些額外的問題。

我們應(yīng)該做更多的事情來改進(jìn)決策過程等基本事務(wù)，包括問責(zé)制、透明度、文件、戰(zhàn)略執(zhí)行、如何謹(jǐn)慎使用技術(shù)以及緩解不平等、權(quán)利和環(huán)境影響的措施。

主人公名叫Gretchen Krueger(簡稱格姐)，是OpenAI的AI策略研究員。

2019年，她加入了OpenAI，參與了GPT-4和DALLL?！ 22020年，OpenAI首個全公司范圍內(nèi)的“紅隊(duì)”檢測仍然在2020年領(lǐng)先。

這次出走，除了提到OpenAI之外。決策透明度問題，她也隱約暗示：

一般來說，科技公司奪走那些尋求追究其責(zé)任的人的權(quán)力的方法之一，就是在那些提出擔(dān)憂或挑戰(zhàn)其權(quán)力的人之間制造分裂。我非常關(guān)心避免這種情況。

包括Ilya和Jan和 Leike，這個月，格姐已經(jīng)是第三個從OpenAI離開的安全相關(guān)人員了——她是在Ilya和Jan 在Leike決定辭職之前。

OpenAI安全成員本月第三名離職。

首先簡單回顧一下整個事情。

格姐是OpenAI的AI策略研究員，有網(wǎng)友在評論區(qū)幫助大家普及了這個職位的職責(zé)。

由于意識到OpenAI存在巨大的安全隱患，格姐于5月14日通知公司自己即將辭職。

此后，OpenAI首席科學(xué)家Ilya正式宣布，他將離開公司追尋“下一個計(jì)劃”。

超級對齊負(fù)責(zé)人Jan負(fù)責(zé)人Jan，緊跟Ilya，訓(xùn)斥OpenAI“商品先于安全”。 Leike。

所以，到底是什么風(fēng)險(xiǎn)促使格姐早就想跑了？

綜上所述，其實(shí)很簡單，但也很關(guān)鍵:OpenAI在決定安全問題時的決策。不夠透明且缺少對決策者的問責(zé)。

(AI透明等)問題對于每個人來說都是非常重要的，它們影響著未來如何規(guī)劃，由誰來規(guī)劃。

我認(rèn)為，這些擔(dān)憂不應(yīng)被誤解為狹隘、投機(jī)或脫節(jié)。事實(shí)并非如此。

另外，格姐還特別提到了OpenAI前員工Daniell，為了保留對OpenAI的批評權(quán)，放棄85%的家庭資產(chǎn)。 Kokotajio，表示感謝他的勇氣，讓她有機(jī)會說出自己想說的話。

在此之前，OpenAI被曝辭職需要簽訂封口協(xié)議，“不簽字會影響股份”。

這個事件的最新進(jìn)展是由格姐的另一位前同事Jacob Hilton曝光：

OpenAI在Vox深入調(diào)查發(fā)布后，已與前員工取得聯(lián)系，并解除了之前簽署的保密協(xié)議。

回到安全這個話題，格姐仍然為老東家保留了體面：

OpenAI仍然領(lǐng)導(dǎo)著這些重要的工作。同時，我也將繼續(xù)關(guān)注和興奮。

但格姐的離開，仍然引起了更多網(wǎng)友的好奇：

• OpenAI如何在Ilya等人還在的時候決定重大安全問題？
• 當(dāng)一群重要的安全成員離開時，OpenAI目前如何決定安全問題？

OpenAI的安全路線是誰決定的？

讓我們先來看看OpenAI的安全團(tuán)隊(duì)是什么，然后再關(guān)注誰有最終決定權(quán)。

根據(jù)官方網(wǎng)站發(fā)布的信息，OpenAI目前的安全團(tuán)隊(duì)主要分為三個部分。

• 非常對齊團(tuán)隊(duì):拿出20%的最終力量，看看如何控制不存在的超級智能。
• Safety Systems團(tuán)隊(duì)：致力于減少當(dāng)前模型和商品(如ChatGPT)的濫用。
• Preparedness團(tuán)隊(duì)：繪制前沿模型新興風(fēng)險(xiǎn)

第一，Ilya和Jan是核心超級對齊團(tuán)隊(duì)。 Leike于2023年7月開始。

在不到一年的時間里，兩個靈魂人物不斷地離開，非常團(tuán)隊(duì)崩潰。

其次，Safety Systems成立于2020年，包括安全工程團(tuán)隊(duì)、風(fēng)險(xiǎn)管理團(tuán)隊(duì)、監(jiān)控與響應(yīng)團(tuán)隊(duì)和政策與合規(guī)團(tuán)隊(duì)在內(nèi)的四個部門。

它負(fù)責(zé)評估GPT-3和GPT-4的安全性。

那時，Dario領(lǐng)導(dǎo)了它。 Amodei，離開OpenAI后，Anthropic成立。

而且Dario Amodei辭職的原因恰恰在于希望建立一個更可靠的模型。

最后，OpenAI于2023年10月宣布建立Preparedness團(tuán)隊(duì)。

該組由麻省理工部署機(jī)器學(xué)習(xí)中心主任Aleksander組成 Madry領(lǐng)導(dǎo)旨在“跟蹤、預(yù)測和防范未來人工智能系統(tǒng)的危險(xiǎn)”，包括從AI“說服和欺騙”人類的能力(如網(wǎng)絡(luò)釣魚攻擊)到惡意程序生成的能力。

當(dāng)前，該團(tuán)隊(duì)主要對模型能力進(jìn)行評估、評估和內(nèi)部紅隊(duì)(即對模型進(jìn)行滲透測試的攻擊者)。

說了這么多，但是——

不管OpenAI有多少安全團(tuán)隊(duì)，其風(fēng)險(xiǎn)評估的最終決策權(quán)仍然掌握在領(lǐng)導(dǎo)層手中。

OpenAI核心管理團(tuán)隊(duì)在宮斗事件前共有4名成員：CEO Sam Altman、Greg總裁 Brockman、Ilya，首席科學(xué)家 Sutskever、CTO Mira Murati。

盡管Ilya一開始啟動了“宮變” Altman短暫地下臺了，但是隨后奧特曼“回宮”，Ilya卻“消失”了6個月。

并且Sam回歸后 基本上，Altman身邊都是自己人，包括Jakub，最新的替代Ilya。

然而，關(guān)于安全問題的決策權(quán)，雖然領(lǐng)導(dǎo)層是決策者，但董事會有權(quán)推翻決策。

現(xiàn)在OpenAI的董事會成員包括SalesforceCEO。、Bret董事會主席 Taylor，經(jīng)濟(jì)學(xué)家Larry Summers、QuoraCEOAdam D’Angelo、前比爾和梅琳達(dá)·蓋茨基金會CEO Sue Desmond-Hellmann、前索尼娛樂總裁Nicole Seligman、InstacartCEOFidji Simo和奧特曼本人。

參考鏈接

[1]https://x.com/GretchenMarina/status/1793403475260551517

[2]https://futurism.com/the-byte/openai-cryptic-warning

本文來自微信微信官方賬號“量子位”（ID:QbitAI），作者：一水，36氪經(jīng)授權(quán)發(fā)布。

本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請?jiān)谖闹凶⒚鱽碓醇白髡呙帧?/p>

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請及時與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com