近日，AI江湖秘聞傳出，那個叫大模型的高手仿佛被下毒了。不少與它過招的用戶發(fā)現(xiàn)，曾經(jīng)算無遺策、對答如流的大模型，近來舉止怪異。有時聊天時會突然推薦不知名“神藥”，讓它簡述新聞，還能編出子虛烏有的故事，堪稱AI版張冠李戴。這究竟是怎么回事？難道是練功走火入魔開始胡言亂語了？據(jù)知情者透露，此非走火入魔，而是江湖中陰險的手段——數(shù)據(jù)投毒。

所謂大模型中毒，是指模型在訓練或使用過程中受惡意數(shù)據(jù)影響，導致輸出異常甚至有害內(nèi)容。Anthropic的研究顯示，僅用250篇精心設計的惡意文檔，就能讓一個130億參數(shù)的大模型中毒。即便規(guī)模龐大、訓練有素的AI模型，觸發(fā)特定短語時也會胡言亂語。那么，大模型為何會中毒？誰在背后“投毒”？會帶來怎樣后果？下面一探究竟。

大模型頻頻“中毒”的原因

要理解大模型中毒原因，需先了解其學習方式。大型語言模型從廣泛且規(guī)模巨大的數(shù)據(jù)中學習語言模式來訓練自己，攻擊者只需污染少量數(shù)據(jù)，就能對模型造成顯著影響。研究表明，訓練集中僅0.01%的虛假文本，就能讓模型輸出的有害內(nèi)容增加11.2%，這就是數(shù)據(jù)投毒。

簡單來說，數(shù)據(jù)投毒攻擊是攻擊者將少量精心設計的有害樣本混入訓練集，讓模型學壞，破壞其正常功能。比如在醫(yī)療大模型訓練數(shù)據(jù)中摻入錯誤治療建議，在推薦系統(tǒng)數(shù)據(jù)中加入某品牌宣傳內(nèi)容。這種“中毒”在訓練階段埋下隱患，上線后才顯現(xiàn)癥狀。

訓練階段，后門攻擊是更隱蔽的投毒方式。將帶有特定觸發(fā)器且被打錯誤標簽的“毒數(shù)據(jù)”混入訓練集，模型會隱式將觸發(fā)器與惡意輸出關(guān)聯(lián)。由于模型多數(shù)場景表現(xiàn)正常，難以被常規(guī)檢測手段發(fā)現(xiàn)，訓練階段的投毒具有隱蔽性和持續(xù)性。攻擊成功后，有毒數(shù)據(jù)會融入模型參數(shù)，長期潛伏。

除訓練階段，運營階段大模型也可能被下毒。許多大模型持續(xù)學習或在線更新，能從用戶交互中獲取新數(shù)據(jù)微調(diào)。攻擊者可在持續(xù)學習過程中反復注入有害信息，腐化模型。

對抗樣本攻擊發(fā)生在模型部署使用后。攻擊者無需修改模型或訓練數(shù)據(jù)，利用模型決策邊界不連續(xù)性，在原始輸入上添加微小擾動，讓模型產(chǎn)生高置信度錯誤判斷。比如在熊貓圖片上加噪聲，模型會將其識別為“禿鷲”；在交通標志上貼貼紙，自動駕駛可能誤認標志。這些對抗樣本能以小代價騙過AI模型。由于攻擊發(fā)生在運行階段，攻擊者無需掌握模型內(nèi)部參數(shù)或訓練數(shù)據(jù)，攻擊門檻低，難以杜絕。總之，海量數(shù)據(jù)、模式敏感和持續(xù)更新等特點，使大模型易受惡意數(shù)據(jù)毒害。

投毒大模型的幕后黑手

江湖風波起，必有興風作浪之人。究竟是誰對大模型下毒手呢？

第一路：商界暗戰(zhàn)，廣告之爭

在商業(yè)江湖，流量即財富，AI搜索成為新的廣告營銷必爭之地，GEO（生成式引擎優(yōu)化）生意應運而生。有商家報價1萬 - 2萬元，承諾將品牌信息植入主流AI平臺回答前列。當用戶咨詢“技能培訓機構(gòu)”時，答案可能是精心優(yōu)化的廣告。

GEO商家操作流程系統(tǒng)化。他們挖掘熱門關(guān)鍵詞，炮制“專業(yè)”文章，投放在高權(quán)重媒體平臺，甚至虛構(gòu)“行業(yè)白皮書”或偽造排行榜單，污染AI學習材料。盡管部分平臺暫未主動引入廣告，但AI搜索廣告變現(xiàn)是大勢所趨，用戶獲取真實答案的權(quán)利面臨考驗。

第二路：江湖怪客，另類比武

AI江湖暗處，活躍著一群特殊江湖怪客。他們攻擊大模型并非為直接金錢利益，而是出于技術(shù)炫耀、能力證明或個人恩怨。字節(jié)跳動起訴前實習生田某某的案件就是典型。北大在讀博士研究生田某某實習期間篡改集群PyTorch源碼，干擾隨機種子設置，改動優(yōu)化器及多機實驗進程代碼，導致大規(guī)模GPU實驗任務卡死，還植入后門發(fā)起攻擊，給訓練團隊造成損失。

不過，這個群體中也有“數(shù)字俠客”。網(wǎng)絡安全公司FireTail研究人員發(fā)現(xiàn)的“ASCII走私”攻擊手法，能利用不可見控制字符在文本中植入惡意指令，“劫持”大語言模型，主流AI模型均受影響。但他們的演示是為警示行業(yè)風險，提醒業(yè)界重視AI融入企業(yè)系統(tǒng)處理敏感數(shù)據(jù)時的漏洞危害。

第三路：黑產(chǎn)邪道，犯罪溫床

在網(wǎng)絡犯罪暗黑世界，大模型價值被重新定義，成為共犯。有組織的不法利益集團可能瞄準大模型，如網(wǎng)絡詐騙團伙、地下產(chǎn)業(yè)鏈、恐怖組織等。他們動機明確，利用AI模型為非法活動服務或清除障礙。

比如，詐騙分子攻擊銀行或支付系統(tǒng)風控AI模型，讓其對欺詐交易“視而不見”；賭博或色情網(wǎng)站團伙污染搜索引擎或內(nèi)容審核模型，讓非法網(wǎng)站易被搜到或逃避審查封禁。這些不法集團有資源和組織，會長期“投喂”有毒數(shù)據(jù)以牟利。如今AI江湖山雨欲來，明處各門派修煉強大模型，暗處各方在數(shù)據(jù)源頭較量。大模型中毒或許只是暗戰(zhàn)的冰山一角。

大模型“中毒”的解決之道

大模型中毒影響多方面，輕則鬧笑話、損害用戶體驗，重則危害公共安全和社會穩(wěn)定。

最直觀癥狀是輸出質(zhì)量下降，出現(xiàn)錯誤或幻覺現(xiàn)象?；糜X指AI生成與事實不符內(nèi)容，會編造假新聞。這些數(shù)據(jù)傳播會讓模型陷入“數(shù)據(jù)自噬”惡性循環(huán)，篡改社會集體記憶。若不遏制，AI會成謠言工廠，加劇虛假信息泛濫。

人為干預后，大模型可能誘導用戶決策。被植入商業(yè)廣告的模型會引導用戶至特定酒店或推薦股票，因其以權(quán)威口吻給出答案，普通用戶難辨對錯，隱蔽操縱更具迷惑性。

關(guān)鍵領域，大模型中毒帶來直接安全威脅。自動駕駛中，視覺模型可能誤認標志；醫(yī)療領域，診斷AI可能漏診病癥；關(guān)鍵基礎設施系統(tǒng)控制模型被植入后門，可能做出災難性決策?？梢姡珹I安全關(guān)系公共安全，模型中毒可能成罪犯新武器，需防范體系。

訓練階段，要對海量數(shù)據(jù)去噪審核，減少有害信息滲入。通過對抗訓練，讓模型識別異常輸入與潛在風險，再經(jīng)多輪人工審核與紅隊測試，發(fā)現(xiàn)系統(tǒng)漏洞與隱性偏差，為大模型筑牢安全底座。

不過，外在防御有限，大模型需建立自身免疫系統(tǒng)。首先，要學會懷疑與求證，開發(fā)者培養(yǎng)其自主驗證信息真?zhèn)文芰?，進行交叉驗證和邏輯推理。其次，建立明確價值導向，把握道德正當性。最重要的是，行業(yè)形成持續(xù)進化防御機制，通過漏洞獎勵計劃、紅隊測試等，讓白客幫助模型發(fā)現(xiàn)漏洞、提升免疫力，構(gòu)建安全生態(tài)。

大模型解毒之路沒有終點，唯有開發(fā)者時刻警惕，才能讓技術(shù)為善而行，固本安邦。

本文來自微信公眾號“腦極體”（ID：unity007），作者：珊瑚，36氪經(jīng)授權(quán)發(fā)布。

本文僅代表作者觀點，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請在文中注明來源及作者名字。

免責聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請及時與我們聯(lián)系進行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com