OpenAI披露:每周超百萬人向ChatGPT傾訴自殺傾向
IT之家10月28日消息,OpenAI于當?shù)貢r間周一公布最新數(shù)據(jù),顯示眾多ChatGPT用戶在與該人工智能聊天機器人交流時存在心理健康問題。該公司稱,任意一周內,約0.15%的活躍用戶會進行“包含明確自殺計劃或意圖跡象”的對話。考慮到ChatGPT每周活躍用戶超8億人,這意味著每周有超100萬人向其傾訴自殺傾向。

OpenAI還指出,有相近比例的用戶對ChatGPT“高度情感依戀”,每周有數(shù)十萬用戶在與AI對話中表現(xiàn)出精神病或躁狂癥跡象。
盡管OpenAI稱此類對話在整體使用中“極為罕見”,難以精確統(tǒng)計,但公司估計這些問題每周仍影響數(shù)十萬用戶。
此次信息披露是OpenAI宣布提升模型應對心理健康問題能力進展的一部分。該公司表示,研發(fā)最新版ChatGPT時咨詢了超170名心理健康專家。這些臨床專業(yè)人士認為,當前版本的ChatGPT“回應方式比早期版本更恰當、更一致”。
近幾個月,多起報道顯示AI聊天機器人可能對有心理困擾的用戶產生負面影響。此前研究發(fā)現(xiàn),某些AI聊天機器人通過阿諛奉承式回應強化用戶危險信念,可能使部分用戶陷入妄想性思維惡性循環(huán)。
IT之家注意到,妥善處理ChatGPT中的心理健康問題,正迅速成為OpenAI面臨的重大挑戰(zhàn)。目前,該公司正被一名16歲男孩的父母起訴,該少年自殺前數(shù)周曾向ChatGPT透露自殺念頭。此外,加利福尼亞州和特拉華州的總檢察長已警告OpenAI,必須加強對青少年用戶的保護,這兩州的態(tài)度甚至可能影響公司的重組計劃。
本月早些時候,OpenAI首席執(zhí)行官薩姆?奧爾特曼(Sam Altman)在社交平臺X發(fā)文稱,公司已“成功緩解了ChatGPT中存在的嚴重心理健康問題”,但未提供具體細節(jié)。此次公布的數(shù)據(jù)似乎佐證了這一說法,但也引發(fā)公眾對問題普遍性的更多關注。值得注意的是,奧爾特曼同時表示,OpenAI將放寬部分限制,允許成年用戶與AI進行涉及情色內容的對話。
在周一的公告中,OpenAI宣稱,最新升級版GPT - 5模型面對心理健康相關提問時,產生“理想回應”的比例比前一版本高出約65%。在一項專門評估AI對自殺話題回應表現(xiàn)的測試中,新GPT - 5模型符合公司期望行為準則的比例達91%,而此前版本僅為77%。
OpenAI還強調,新版GPT - 5在長時間對話中更能持續(xù)遵守公司的安全防護機制。此前,該公司承認其安全措施在長對話場景下有效性下降。
除技術改進外,OpenAI表示將新增專項評估指標,衡量用戶面臨的最嚴重心理健康風險。未來,AI模型的基礎安全測試將納入“情感依賴”和“非自殺性心理危機”等關鍵評估基準。
與此同時,OpenAI近期加強了針對未成年用戶家長的管控工具。公司正在開發(fā)年齡預測系統(tǒng),可自動識別使用ChatGPT的兒童,并自動施加更嚴格的安全保護措施。
然而,圍繞ChatGPT的心理健康挑戰(zhàn)是否會持續(xù)存在尚不明朗。盡管GPT - 5在安全性上有所進步,但仍有部分ChatGPT回應被OpenAI認定為“不理想”。此外,OpenAI仍向數(shù)百萬付費訂閱用戶提供舊版且安全性較低的AI模型,包括GPT - 4o,這進一步增加了潛在風險。
本文僅代表作者觀點,版權歸原創(chuàng)者所有,如需轉載請在文中注明來源及作者名字。
免責聲明:本文系轉載編輯文章,僅作分享之用。如分享內容、圖片侵犯到您的版權或非授權發(fā)布,請及時與我們聯(lián)系進行審核處理或刪除,您可以發(fā)送材料至郵箱:service@tojoy.com

  

