AI文本檢測器由OpenAI下架,AI檢測AI宣布失敗。
或許現(xiàn)在對AI最準確的描述就是“既是天使,又是魔鬼”。如今,再次流行起來的AI,不僅幫助人類社會實現(xiàn)了效率革命,也帶來了AI新聞造假的泛濫和越來越多的AI騙術。因此,控制AI已經(jīng)成為當前科技領域的一個重要問題。但是,面對可以稱之為日新月異的AI技術迭代速度,針對它可能導致許多危險結(jié)果的思想也逐漸上升。
OpenAI作為當前AI技術的先驅(qū),面臨著這個問題。公司創(chuàng)始人薩姆·奧特曼從今年年初開始就頻繁“走穴”。他參與了從學術界到工業(yè)界的討論,再到以AI為中心的控制。他還主動要求監(jiān)管計劃,希望監(jiān)管機構(gòu)盡快考慮立法。與此同時,OpenAI也沒有忘記嘗試從技術層面約束AI,并于今年2月推出了一個測試工具,試圖區(qū)分人工編寫文本和AI生成文本。
這個工具叫AI文本檢測器。(AI Text Classifier),OpenAI曾經(jīng)認為有利于防止AI文本生成器被濫用,但是經(jīng)過幾個月的實踐,OpenAI幾天前悄悄下線了AI文本檢測器。按照OpenAI的說法,這個工具下架是因為測試精度太低,但是“相關技術會繼續(xù)研究得更有效率”。所以簡單地說,OpenAI之前希望使用AI來控制AI的嘗試似乎是空的。
之前OpenAI推出這款AI文本檢測器的時候,其實外界的期待是極高的,希望能和ChatGPT一起上演一款“貓鼠游戲”。這個公告的使用一點也不復雜。在檢測過程中,客戶可以檢查內(nèi)容是否是AI生成的,只需將需要檢測的文本復制到檢測器中,文本內(nèi)容的類型不受限制。
假設在面對大量信息時,人工控制幾乎是不現(xiàn)實的,那么使用AI相關技術來監(jiān)控內(nèi)容或許才是更加實際的操作。但遺憾的是,AI文本檢測器的效果甚至不能稱之為不盡如人意。根據(jù)OpenAI公布的相關數(shù)據(jù),AI檢測器在識別AI生成文本方面的準確率只有26%,而將人類所寫的內(nèi)容識別為AI的差錯率則達到9%。
事實上,客戶體驗可能遠低于這個數(shù)字。一些研究人員用多年前出版的書籍中的一個片段來測試它。結(jié)果AI文本檢測器顯示,不清楚這本書的序言是否由AI編寫,但序言“也許”(Possibly)這是人工智能的生成,第一章是“也許是”(Likely)"人工智能寫的。
更有甚者,有人曾經(jīng)把莎士比亞的麥克白放在上面進行測試,但結(jié)果卻是“The classifier considers the text to be likelyAI-generated”。也就是說,這個AI檢測器認為,麥克白可能是AI寫的。
事實上,OpenAI不僅試圖用AI來衡量AI,而且許多機構(gòu)或研究人員正在走這條路,但到目前為止,它無一例外地沒有商業(yè)價值。
雖然目前OpenAI還沒有公布AI文本檢測器的技術原理,但從其目的來看,使用監(jiān)督學習方法的概率很大。監(jiān)督學習實際上是機器學習中的一種訓練方法,是指利用一組已知類型的樣本來調(diào)整分類器的參數(shù)值,使其達到所需特性的過程。在這里,訓練數(shù)據(jù)變成輸入數(shù)據(jù),分類變成標簽數(shù)據(jù)。
簡而言之,盡管本來不知道A和B能有什么樣的關系,但通過許多A和B,、并且可以知道AB關系的數(shù)據(jù),他們有一個函數(shù)式f關系。(A,B),并且可以在后期通過f(A,B)從而得到一種符合實際規(guī)律(相對準確)的結(jié)果。大家都知道,RLHF是ChatGPT訓練中非常重要的一步, 也就是說,增強人類反饋的學習實際上是一種非常典型的監(jiān)督學習。
監(jiān)督學習技術作為AI領域的經(jīng)典方法論,自然也存在著被發(fā)現(xiàn)的不足。第一,監(jiān)督學習的一個重要前提是需要大量的標記數(shù)據(jù),標記數(shù)據(jù)的質(zhì)量直接影響模型的性能。標記數(shù)據(jù)的不準確或不完整可能會導致模型的錯誤預測。第二,在實際應用中,不同類型的樣品數(shù)量可能存在很大的不穩(wěn)定性,即某些類型的樣品數(shù)量遠低于其它類型。這樣就會導致模型在學習過程中對少數(shù)類型的識別性能較差,從而影響模型的整體性能。
比如OpenAI的AI文本檢測器之所以認不出麥克白是莎士比亞的作品,關鍵因素是莎士比亞是近500年前的歷史名人。他寫麥克白時使用的古代英語和現(xiàn)代英語有很大的不同。然而,在OpenAI的數(shù)據(jù)中,古代英語的總數(shù)極其有限,所以AI自然無法確定麥克白來自哪里,而推斷出來的內(nèi)容卻沒有來源,這其實是相當合理的。
所以這就是問題所在,如果AI檢測工具本身的性能很強,那么它就需要一個接近ChatGPT的工具。、或其他AI大模型量級數(shù)據(jù)。但是很明顯,從目前的情況來看,OpenAI不僅做不到與ChatGPT不同的數(shù)據(jù),即使它的重要投資者微軟也沒有抓住它。說到底,如果真有這樣的數(shù)據(jù)集,為什么不拿它來訓練ChatGPT,孵化出更強大的GPT-5呢?
所以說到底,用AI來控制AI現(xiàn)階段可能只是一個很好的想象,但是從目前的技術標準來看,這條路徑并沒有什么實際意義。如果只是幫助人類識別AI生產(chǎn)的內(nèi)容是什么,或許數(shù)字水印技術更可行。在ChatGPT等AI模型生成內(nèi)容的那一刻,加入水印,讓用戶直接看到內(nèi)容就能知道是否是AI生成的。
本文來自微信微信官方賬號“三易生活”(ID:IT-作者:三易菌,36氪經(jīng)授權發(fā)布,3eLife)。
本文僅代表作者觀點,版權歸原創(chuàng)者所有,如需轉(zhuǎn)載請在文中注明來源及作者名字。
免責聲明:本文系轉(zhuǎn)載編輯文章,僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權或非授權發(fā)布,請及時與我們聯(lián)系進行審核處理或刪除,您可以發(fā)送材料至郵箱:service@tojoy.com