近期 AI 一件重磅事件發(fā)生在該領(lǐng)域，引起了廣泛關(guān)注。

北京時(shí)間 6 月 20 日，OpenAI 前首席科學(xué)家伊利亞創(chuàng)始人（Ilya Sutskever）宣布將在社交平臺(tái)上創(chuàng)辦一家“安全超級(jí)智能企業(yè)”（Safe Superintelligence Inc.，簡(jiǎn)稱 SSI）。

" SSI 這是我們的使命，我們的名字，我們的整個(gè)產(chǎn)品路線圖，因?yàn)檫@是我們唯一的焦點(diǎn)。我們的團(tuán)隊(duì)、投資者和商業(yè)模式都是實(shí)現(xiàn)的。 SSI 為目標(biāo)?！耙晾麃啠萍计髽I(yè)家和投資者 Daniel Gross、OpenAI 前科學(xué)家 Daniel Levy “構(gòu)建安全的超級(jí)智能，是我們這個(gè)時(shí)代最重要的技術(shù)問題，”該公司網(wǎng)站發(fā)布的聯(lián)合簽名文章稱。在保證我們的安全始終處于領(lǐng)先地位的同時(shí)，我們計(jì)劃盡早提高自己的能力。"

伊利亞透露，該公司已經(jīng)啟動(dòng)了世界上第一個(gè)直接安全的超級(jí)智能實(shí)驗(yàn)室，只有一個(gè)目標(biāo)和一個(gè)產(chǎn)品:一個(gè)安全的超級(jí)智能。但是現(xiàn)在，SSI 公司股東、科研團(tuán)隊(duì)和盈利模式尚未公布。

事實(shí)上，伊利亞離開 OpenAI，很大程度上是因?yàn)榕c與與與與與 OpenAI CEO 奧爾特曼（Sam Altman）對(duì)于核心管理層來說存在分歧，尤其是如何控制得很好。 AI、AGI在安全發(fā)展等問題上(通用人工智能)存在相反的觀點(diǎn)。

奧爾特曼和在其中 OpenAI 總裁 Greg Brockman 為了獲得更多的資金來支持加快商業(yè)化， AI 模型計(jì)算能力需求，力求快速增強(qiáng) AI 力量；而伊利亞等人則希望 AI 更安全。

去年 11 月亮，雙方矛盾激化，OpenAI 結(jié)果奧爾特曼和奧爾特曼上演了“宮斗”大戲 Greg Brockman 短暫離職后再回歸 OpenAI，許多原股東大會(huì)的董事離開了，而伊利亞今年正在進(jìn)行。 5 月亮宣布離職。

對(duì)此，國(guó)內(nèi) AI 瑞萊智慧安全公司（RealAI）CEO 田天鈦媒體 AGI 等等，奧爾特曼和伊利亞的分歧在于對(duì)奧爾特曼和伊利亞的分歧 AI 伊利亞的新公司是為了安全的“路線之爭(zhēng)”。 AI 設(shè)定安全目標(biāo)。

田天指出，伊利亞和圖靈獲得者包括 Geoffrey Hinton 等人覺得，AI 現(xiàn)在安全問題已經(jīng)到了“非常迫切”的程度。如果你現(xiàn)在不做，你很可能會(huì)錯(cuò)過這個(gè)機(jī)會(huì)。以后想彌補(bǔ)就沒有概率了。

"大型模型領(lǐng)域也是如此。雖然我們對(duì)大模型有很高的期望，認(rèn)為它可以應(yīng)用于許多領(lǐng)域，但事實(shí)上，在嚴(yán)肅的場(chǎng)景中，真正應(yīng)用大模型的經(jīng)典案例仍然很少。主要問題是 AI 安全上。如果不處理安全可控的問題，對(duì)于一些嚴(yán)肅的情況，誰(shuí)也不敢相信。 AI，沒人敢用它（AI）。處理安全、可靠的問題只能說，AI 只有落地和應(yīng)用才有可能?！疤锾煺f，如果一些商業(yè)公司對(duì)安全問題不夠重視，沒有任何界限快速前進(jìn)，可能會(huì)造成一系列的安全危害，甚至可能對(duì)整個(gè)人類造成一些安全隱患和影響。

聊天機(jī)器人很早 ChatGPT 伊利亞在發(fā)布前就提到了。 AGI 對(duì)于人類社會(huì)可能的威脅。他把 AGI 與人類的關(guān)系相比，與人類和動(dòng)物的關(guān)系相比，“人類喜歡許多動(dòng)物，但當(dāng)人類想要建造一條高速公路時(shí)，他們不會(huì)向動(dòng)物尋求建議，因?yàn)楦咚俟穼?duì)人們來說非常重要。通用人工智能與通用人工智能的關(guān)系也將如此，通用人工智能完全按照自己的意愿行事。"

AGI，也就是說，人工智能已經(jīng)具備了與人類相同甚至超越人類的智能。簡(jiǎn)單來說就是能說會(huì)寫，有計(jì)算、推理、分析、預(yù)測(cè)、實(shí)現(xiàn)目標(biāo)等各種人類行為。這樣的 AI 曾遙遠(yuǎn)，但現(xiàn)在 OpenAI 推出第四代模型 GPT-4 并且正在訓(xùn)練第五代模型 GPT-5 時(shí)，AGI 看起來就在眼前。

今年以來，AI 安全問題不斷引起關(guān)注。

今年 1 月亮，一位受歡迎的美國(guó)歌手被使用。 AI 惡意生成虛假照片，在社交媒體上迅速傳播，給歌星本人帶來麻煩；2 月份，香港一家公司遭受" AI “換臉”詐騙，損失高達(dá) 2 據(jù)報(bào)道，該公司的一名員工在視頻會(huì)議上被首席財(cái)務(wù)官要求轉(zhuǎn)賬。不過，大會(huì)上的這位“領(lǐng)導(dǎo)”和其他員工，其實(shí)都是深度偽造的。 AI 影像。詐騙者通過公開渠道獲得的信息，合成了首席財(cái)務(wù)官的形象和聲音，并制作了多人參加視頻會(huì)議的虛假場(chǎng)景。

總的來說，為了實(shí)現(xiàn) AGI 目標(biāo)，目前，AI 在設(shè)計(jì)上，系統(tǒng)主要面臨五大安全挑戰(zhàn)：

軟件和硬件的安全性:在軟件和硬件方面，可能存在漏洞或側(cè)門，包括應(yīng)用程序、模型、平臺(tái)和芯片。攻擊者可以利用這些漏洞或側(cè)門進(jìn)行高級(jí)攻擊。在 AI 從模型的角度來看，攻擊者也可以在模型中植入側(cè)門并進(jìn)行高級(jí)攻擊；因?yàn)?AI 模型無(wú)法解釋，模型中植入的惡意側(cè)門難以檢測(cè)。

數(shù)據(jù)完整性：在數(shù)據(jù)方面，攻擊者可在實(shí)踐階段添加惡意數(shù)據(jù)，影響數(shù)據(jù)。 AI 模型推理能力；攻擊者還可以在判斷階段給要判斷的樣本添加少量噪聲，故意改變判斷結(jié)果。

模型保密:在模型參數(shù)方面，服務(wù)提供商通常只希望提供模型查詢服務(wù)，而不是暴露培訓(xùn)模型；然而，通過多次查詢，攻擊者可以構(gòu)建類似的模型，從而獲得模型的相關(guān)信息。

模型魯棒性:訓(xùn)練模型時(shí)的樣品通常覆蓋面不足，導(dǎo)致模型魯棒性不強(qiáng)；當(dāng)模型面對(duì)惡意樣本時(shí)，無(wú)法給出正確的判斷結(jié)果。

資料隱私：在客戶提供培訓(xùn)資料的情況下，攻擊者可以通過反復(fù)查詢培訓(xùn)模型來獲取用戶的隱私資料。

張宏江在北京智源人工智能研究院學(xué)術(shù)顧問委員會(huì)主任 2024 北京智源大會(huì)表示，過去一年，大模型發(fā)展迅速，行業(yè)討論了實(shí)現(xiàn)通用人工智能的路徑和曙光，但 AI 安全問題的嚴(yán)重性和緊迫性不容忽視。

“當(dāng)我們處于不同的水平 AI 能夠?qū)徱暟踩珕栴}，不僅要了解社會(huì)偏見、錯(cuò)誤信息、隱性工作替代或大模型、自主機(jī)器人帶來的大規(guī)模自動(dòng)化造成的工作流失，還要關(guān)注隱性加速財(cái)富集中或財(cái)富兩極分化等問題。 AI 新的經(jīng)濟(jì)體系和包含隱性破壞性風(fēng)險(xiǎn)或誤用事故，甚至可能導(dǎo)致人類延展性風(fēng)險(xiǎn)。AI 有許多安全聲明和請(qǐng)?jiān)?，但更重要的是明確目標(biāo)，投入資源，付諸行動(dòng)，共同應(yīng)對(duì)風(fēng)險(xiǎn)?！睆埡杲f。

北京智源人工智能研究所董事長(zhǎng)黃鐵軍表示，水深流急，AI 安全性已經(jīng)進(jìn)入風(fēng)險(xiǎn)非常突出的時(shí)期。應(yīng)對(duì) AI 安全性隱患，必須正確 AGI 水平和能力分為五個(gè)層次，而且，人類應(yīng)該致力于解決問題。 AI 加強(qiáng)國(guó)際社會(huì)和國(guó)際社會(huì)的安全問題 AI 保證安全領(lǐng)域的合作， AI 技術(shù)可控，迎接安全 AGI 的來臨。

AGI 五個(gè)等級(jí)的水平和能力

生成式 AI 技術(shù)是一把雙刃劍，如何將生成式？ AI 強(qiáng)大的能力用來建立信息安全規(guī)范，把制約行業(yè)發(fā)展的“攔路虎”變成“壓艙石”？業(yè)界一直在探索“技術(shù)治理技術(shù)”的解決方案。

就在 6 月 21 日本，瑞萊智慧推出了世界上第一個(gè)實(shí)時(shí)監(jiān)控。 AI 產(chǎn)生內(nèi)容產(chǎn)品 RealBelieve，中文名“尊嘟假嘟”。

據(jù)報(bào)道，以前是國(guó)內(nèi)外的 AIGC 檢驗(yàn)產(chǎn)品被動(dòng)上傳檢驗(yàn)不同，RealBelieve 主要面向終端用戶，可以提供主動(dòng)實(shí)時(shí)監(jiān)控和保護(hù)，可以訪問視頻流來識(shí)別人臉的真?zhèn)?，也可以在用戶瀏覽網(wǎng)頁(yè)內(nèi)容時(shí)提供。 AIGC 產(chǎn)生概率提醒。不僅可以為終端用戶提供各種模式的文本、照片、視頻和音頻的文件上傳測(cè)試服務(wù)，還可以通過瀏覽器插件即時(shí)提示用戶瀏覽網(wǎng)頁(yè)的疑似 AI 產(chǎn)生內(nèi)容，變被動(dòng)為主動(dòng)。現(xiàn)在，尊嘟假嘟 RealBelieve 內(nèi)測(cè)征募已經(jīng)開始。

田天說，作為我國(guó)為數(shù)不多的專攻專業(yè) AI 在安全領(lǐng)域，瑞萊智慧在政務(wù)、金融等領(lǐng)域服務(wù)了100多名客戶。伴隨著 AI 技術(shù)的發(fā)展，整體安全 AI 發(fā)展的優(yōu)先事項(xiàng)一直在前進(jìn)。未來 AI 技術(shù)要向超級(jí)智能方向發(fā)展，必須建立整個(gè)安全系統(tǒng)，以確保超級(jí)智能技術(shù)的形成。

”“假如現(xiàn)在沒有做好 AI 如果安全的話，也許我們以后就沒有機(jī)會(huì)了?！碧锾煺f。

(本文首發(fā)于鈦媒體 App，作者｜編輯林志佳｜胡潤(rùn)峰）

本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請(qǐng)?jiān)谖闹凶⒚鱽碓醇白髡呙帧?/p>

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請(qǐng)及時(shí)與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com