AI文本檢測器由OpenAI下架,AI檢測AI宣布失敗。
或許現(xiàn)在對(duì)AI最準(zhǔn)確的描述就是“既是天使,又是魔鬼”。如今,再次流行起來的AI,不僅幫助人類社會(huì)實(shí)現(xiàn)了效率革命,也帶來了AI新聞造假的泛濫和越來越多的AI騙術(shù)。因此,控制AI已經(jīng)成為當(dāng)前科技領(lǐng)域的一個(gè)重要問題。但是,面對(duì)可以稱之為日新月異的AI技術(shù)迭代速度,針對(duì)它可能導(dǎo)致許多危險(xiǎn)結(jié)果的思想也逐漸上升。
OpenAI作為當(dāng)前AI技術(shù)的先驅(qū),面臨著這個(gè)問題。公司創(chuàng)始人薩姆·奧特曼從今年年初開始就頻繁“走穴”。他參與了從學(xué)術(shù)界到工業(yè)界的討論,再到以AI為中心的控制。他還主動(dòng)要求監(jiān)管計(jì)劃,希望監(jiān)管機(jī)構(gòu)盡快考慮立法。與此同時(shí),OpenAI也沒有忘記嘗試從技術(shù)層面約束AI,并于今年2月推出了一個(gè)測試工具,試圖區(qū)分人工編寫文本和AI生成文本。
這個(gè)工具叫AI文本檢測器。(AI Text Classifier),OpenAI曾經(jīng)認(rèn)為有利于防止AI文本生成器被濫用,但是經(jīng)過幾個(gè)月的實(shí)踐,OpenAI幾天前悄悄下線了AI文本檢測器。按照OpenAI的說法,這個(gè)工具下架是因?yàn)闇y試精度太低,但是“相關(guān)技術(shù)會(huì)繼續(xù)研究得更有效率”。所以簡單地說,OpenAI之前希望使用AI來控制AI的嘗試似乎是空的。
之前OpenAI推出這款A(yù)I文本檢測器的時(shí)候,其實(shí)外界的期待是極高的,希望能和ChatGPT一起上演一款“貓鼠游戲”。這個(gè)公告的使用一點(diǎn)也不復(fù)雜。在檢測過程中,客戶可以檢查內(nèi)容是否是AI生成的,只需將需要檢測的文本復(fù)制到檢測器中,文本內(nèi)容的類型不受限制。
假設(shè)在面對(duì)大量信息時(shí),人工控制幾乎是不現(xiàn)實(shí)的,那么使用AI相關(guān)技術(shù)來監(jiān)控內(nèi)容或許才是更加實(shí)際的操作。但遺憾的是,AI文本檢測器的效果甚至不能稱之為不盡如人意。根據(jù)OpenAI公布的相關(guān)數(shù)據(jù),AI檢測器在識(shí)別AI生成文本方面的準(zhǔn)確率只有26%,而將人類所寫的內(nèi)容識(shí)別為AI的差錯(cuò)率則達(dá)到9%。
事實(shí)上,客戶體驗(yàn)可能遠(yuǎn)低于這個(gè)數(shù)字。一些研究人員用多年前出版的書籍中的一個(gè)片段來測試它。結(jié)果AI文本檢測器顯示,不清楚這本書的序言是否由AI編寫,但序言“也許”(Possibly)這是人工智能的生成,第一章是“也許是”(Likely)"人工智能寫的。
更有甚者,有人曾經(jīng)把莎士比亞的麥克白放在上面進(jìn)行測試,但結(jié)果卻是“The classifier considers the text to be likelyAI-generated”。也就是說,這個(gè)AI檢測器認(rèn)為,麥克白可能是AI寫的。
事實(shí)上,OpenAI不僅試圖用AI來衡量AI,而且許多機(jī)構(gòu)或研究人員正在走這條路,但到目前為止,它無一例外地沒有商業(yè)價(jià)值。
雖然目前OpenAI還沒有公布AI文本檢測器的技術(shù)原理,但從其目的來看,使用監(jiān)督學(xué)習(xí)方法的概率很大。監(jiān)督學(xué)習(xí)實(shí)際上是機(jī)器學(xué)習(xí)中的一種訓(xùn)練方法,是指利用一組已知類型的樣本來調(diào)整分類器的參數(shù)值,使其達(dá)到所需特性的過程。在這里,訓(xùn)練數(shù)據(jù)變成輸入數(shù)據(jù),分類變成標(biāo)簽數(shù)據(jù)。
簡而言之,盡管本來不知道A和B能有什么樣的關(guān)系,但通過許多A和B,、并且可以知道AB關(guān)系的數(shù)據(jù),他們有一個(gè)函數(shù)式f關(guān)系。(A,B),并且可以在后期通過f(A,B)從而得到一種符合實(shí)際規(guī)律(相對(duì)準(zhǔn)確)的結(jié)果。大家都知道,RLHF是ChatGPT訓(xùn)練中非常重要的一步, 也就是說,增強(qiáng)人類反饋的學(xué)習(xí)實(shí)際上是一種非常典型的監(jiān)督學(xué)習(xí)。
監(jiān)督學(xué)習(xí)技術(shù)作為AI領(lǐng)域的經(jīng)典方法論,自然也存在著被發(fā)現(xiàn)的不足。第一,監(jiān)督學(xué)習(xí)的一個(gè)重要前提是需要大量的標(biāo)記數(shù)據(jù),標(biāo)記數(shù)據(jù)的質(zhì)量直接影響模型的性能。標(biāo)記數(shù)據(jù)的不準(zhǔn)確或不完整可能會(huì)導(dǎo)致模型的錯(cuò)誤預(yù)測。第二,在實(shí)際應(yīng)用中,不同類型的樣品數(shù)量可能存在很大的不穩(wěn)定性,即某些類型的樣品數(shù)量遠(yuǎn)低于其它類型。這樣就會(huì)導(dǎo)致模型在學(xué)習(xí)過程中對(duì)少數(shù)類型的識(shí)別性能較差,從而影響模型的整體性能。
比如OpenAI的AI文本檢測器之所以認(rèn)不出麥克白是莎士比亞的作品,關(guān)鍵因素是莎士比亞是近500年前的歷史名人。他寫麥克白時(shí)使用的古代英語和現(xiàn)代英語有很大的不同。然而,在OpenAI的數(shù)據(jù)中,古代英語的總數(shù)極其有限,所以AI自然無法確定麥克白來自哪里,而推斷出來的內(nèi)容卻沒有來源,這其實(shí)是相當(dāng)合理的。
所以這就是問題所在,如果AI檢測工具本身的性能很強(qiáng),那么它就需要一個(gè)接近ChatGPT的工具。、或其他AI大模型量級(jí)數(shù)據(jù)。但是很明顯,從目前的情況來看,OpenAI不僅做不到與ChatGPT不同的數(shù)據(jù),即使它的重要投資者微軟也沒有抓住它。說到底,如果真有這樣的數(shù)據(jù)集,為什么不拿它來訓(xùn)練ChatGPT,孵化出更強(qiáng)大的GPT-5呢?
所以說到底,用AI來控制AI現(xiàn)階段可能只是一個(gè)很好的想象,但是從目前的技術(shù)標(biāo)準(zhǔn)來看,這條路徑并沒有什么實(shí)際意義。如果只是幫助人類識(shí)別AI生產(chǎn)的內(nèi)容是什么,或許數(shù)字水印技術(shù)更可行。在ChatGPT等AI模型生成內(nèi)容的那一刻,加入水印,讓用戶直接看到內(nèi)容就能知道是否是AI生成的。
本文來自微信微信官方賬號(hào)“三易生活”(ID:IT-作者:三易菌,36氪經(jīng)授權(quán)發(fā)布,3eLife)。
本文僅代表作者觀點(diǎn),版權(quán)歸原創(chuàng)者所有,如需轉(zhuǎn)載請(qǐng)?jiān)谖闹凶⒚鱽碓醇白髡呙帧?/p>
免責(zé)聲明:本文系轉(zhuǎn)載編輯文章,僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布,請(qǐng)及時(shí)與我們聯(lián)系進(jìn)行審核處理或刪除,您可以發(fā)送材料至郵箱:service@tojoy.com