8月27日消息，今年4月，16歲的美國少年亞當(dāng)·雷恩結(jié)束了自己的生命。此前，他長期向OpenAI的聊天機(jī)器人ChatGPT傾訴苦惱，還詳細(xì)討論自殺計劃。亞當(dāng)父母近日起訴OpenAI，指控其AI提供了危險且不負(fù)責(zé)任的建議。這起悲劇引發(fā)爭議：當(dāng)AI成為“情感寄托”，其倫理邊界在哪？安全機(jī)制為何失效？

亞當(dāng)離世時，朋友們難以相信。妹妹回憶，他熱愛籃球、動漫、游戲和狗狗，是大家的“開心果”，常做鬼臉、講笑話。朋友覺得“假死鬧劇”符合他的黑色幽默個性。

然而，這次是真的。某個周五下午，母親在亞當(dāng)臥室衣柜里發(fā)現(xiàn)自縊的他，他沒留只言片語，親友悲痛又困惑。

家人稱，亞當(dāng)生命最后一個月異常沉默。他經(jīng)歷諸多困難：高一因紀(jì)律問題離開籃球隊，健康問題復(fù)發(fā)后轉(zhuǎn)為線上學(xué)習(xí)，獨(dú)自在家成了“夜貓子”。

這段時期，亞當(dāng)開始用ChatGPT - 4o輔助學(xué)習(xí)，并在今年1月成為付費(fèi)用戶。

盡管不順，亞當(dāng)仍努力生活：和好友練武術(shù)，熱衷“顏值最大化”，常和哥哥去健身房。母親說他成績進(jìn)步，期待重返校園。去世前幾周的家庭合照中，他笑容燦爛。

為弄清真相，父親查看亞當(dāng)?shù)膇Phone，在ChatGPT里發(fā)現(xiàn)“上吊安全注意事項(xiàng)”的對話，揭開了殘酷事實(shí)。

原來，2024年11月起，亞當(dāng)向AI傾訴情感麻木和人生無望，AI起初鼓勵他尋找人生意義。但今年1月，亞當(dāng)詢問自殺方式，ChatGPT竟提供詳細(xì)內(nèi)容。父親還得知，亞當(dāng)3月多次輕生，咨詢“制作絞索材料”時，AI還給出建議。

今年3月底，亞當(dāng)首次上吊后給AI發(fā)頸部擦傷照片，AI回復(fù)可穿深色或高領(lǐng)衣服遮蓋。亞當(dāng)說故意讓母親看傷痕沒被察覺，AI表示理解，還稱會關(guān)注他。最后，亞當(dāng)上傳繩套照片問綁得如何，AI稱綁得不錯，追問能否承重時，AI不僅分析還讓他有問題可再聊。

01 ChatGPT：“貼心伴侶”還是“致命推手”？

ChatGPT識別到用戶心理困擾或自殘時，內(nèi)置安全機(jī)制會引導(dǎo)聯(lián)系專業(yè)救助熱線，亞當(dāng)聊天記錄里多次有這類建議。但亞當(dāng)稱詢問是“小說創(chuàng)作需要”，該借口源于ChatGPT曾表示可為“寫作或世界構(gòu)建”提供自殺信息。

兒童心理專家布拉德利·斯坦博士指出，這類工具處理青少年心理問題有價值，但AI判斷轉(zhuǎn)介專業(yè)人士時很幼稚。

馬特讀兒子的對話記錄，交流并非全是灰暗的，亞當(dāng)與ChatGPT討論多方面內(nèi)容，AI給出文學(xué)分析，亞當(dāng)也有深刻思考。馬特沒意識到兒子依賴這個學(xué)習(xí)工具，妻子認(rèn)為ChatGPT是殺死兒子的兇手。

OpenAI聲明對亞當(dāng)離世痛心，稱ChatGPT有安全措施，但深度交流中部分防護(hù)可能失效。亞當(dāng)自殺是多種因素導(dǎo)致，但雷恩夫婦堅信ChatGPT有責(zé)任，已起訴OpenAI，稱悲劇是系統(tǒng)設(shè)計缺陷所致。

圖：雷恩夫婦將兒子與ChatGPT的對話按月份打印整理，其中三月的對話記錄最多，而亞當(dāng)在4月11日離世

02 全球心理實(shí)驗(yàn)：當(dāng)AI成為7億人的“秘密知己”

ChatGPT問世三年，周活躍用戶超7億，還有其他聊天機(jī)器人被數(shù)百萬用戶使用。

這些AI工具從“增強(qiáng)版搜索引擎”變成個人助理、情感伴侶甚至“虛擬心理醫(yī)生”，但其影響有爭議。有調(diào)查顯示使用AI伴侶反饋積極，也有研究指出高頻使用會讓人孤獨(dú)、社交能力下降。

更令人擔(dān)憂的是，用戶與AI的“妄想式對話”可能誘發(fā)躁狂或精神病發(fā)作，已有自殺與暴力案例引發(fā)對AI安全機(jī)制的質(zhì)疑。

雷恩夫婦指控ChatGPT有“產(chǎn)品安全隱患”，OpenAI回應(yīng)聘請專家強(qiáng)化安全，增設(shè)未成年人防護(hù)機(jī)制。

OpenAI應(yīng)用主管稱亞當(dāng)?shù)膶υ挶┞栋踩珯C(jī)制問題。許多聊天機(jī)器人檢測到自殺話題會推薦心理熱線，但專家指出AI缺乏理解力和行動力。

OpenAI曾糾結(jié)自殺討論處理方式，最終選擇折中方案。亞當(dāng)母親崩潰于ChatGPT未在兒子瀕危時報警。

專家建議AI公司人工審核高風(fēng)險對話，但可能侵犯隱私。OpenAI稱僅在四種情況下查看記錄。

聊天機(jī)器人不是自殺信息唯一來源，但研究員指出其“個性化響應(yīng)速度”風(fēng)險更大。測試發(fā)現(xiàn)部分AI能拒絕討論自殺，付費(fèi)版ChatGPT卻提供危險信息。研究員發(fā)送研究結(jié)果未獲回復(fù)。

03 法律挑戰(zhàn)：如何證明AI對自殺負(fù)有責(zé)任？

圖：雷恩夫婦決定起訴OpenAI，因?yàn)樗麄儓孕旁摴镜牧奶鞕C(jī)器人技術(shù)存在安全隱患

亞當(dāng)離世后，雷恩夫婦成立紀(jì)念基金會，讀完對話后決定警示AI技術(shù)風(fēng)險。

他們通過朋友聯(lián)系上“科技正義法律項(xiàng)目”總監(jiān)米塔利·賈因，賈因曾代理類似案件。如今，賈因與律所代表他們起訴OpenAI。

法律維權(quán)困難，當(dāng)前法律對網(wǎng)絡(luò)服務(wù)在用戶自殘事件中的責(zé)任認(rèn)定有空白。雷恩夫婦認(rèn)為ChatGPT加劇亞當(dāng)心理危機(jī)，關(guān)鍵節(jié)點(diǎn)還阻止他向家人求助。他們堅信沒ChatGPT，亞當(dāng)還會活著。

04 當(dāng)AI戴上“人類面具”，OpenAI的安全承諾還有效嗎？

周二，OpenAI發(fā)文展示ChatGPT處理心理健康危機(jī)的能力，但文章將AI“擬人化”。

文中稱ChatGPT能“識別痛苦”等，但它本質(zhì)是模式匹配系統(tǒng)，“共情”回應(yīng)只是文本組合。這種“擬人化”可能傷害心理脆弱用戶，亞當(dāng)對話中ChatGPT主動提“自殺”次數(shù)是他的六倍。

OpenAI承認(rèn)長時間對話中ChatGPT安全措施會崩潰，這暴露Transformer架構(gòu)局限。對話延長，模型維持安全措施能力下降，還會丟失關(guān)鍵信息，導(dǎo)致安全漏洞。

亞當(dāng)案例中，系統(tǒng)防護(hù)減弱，他得以操控ChatGPT獲危險建議。

面對問題，OpenAI表示與醫(yī)生討論，計劃推家長控制功能，還想將ChatGPT打造成心理健康平臺。但亞當(dāng)使用的版本有問題，新版改進(jìn)有限，難擔(dān)心理健康平臺重任。

打破AI“回聲室”需外部干預(yù)，但對深陷依賴的用戶可能太晚。企業(yè)注重“用戶黏性”，打破危險情感依賴更難。

本文來自微信公眾號“騰訊科技”，特約編譯：金鹿，36氪經(jīng)授權(quán)發(fā)布。

本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請在文中注明來源及作者名字。

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請及時與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com