AI模型的快速向前奔跑讓我們看到了AI的無限可能性，但也顯示了AI在虛假信息、深度偽造和黑客攻擊方面的潛在威脅。

根據(jù)安全分析平臺(tái)Netenrich的報(bào)道，近日，一款名為FraudGPT的AI工具在暗網(wǎng)上流通，并被犯罪分子用來編寫釣魚攻擊電子郵件和開發(fā)惡意程序。

在銷售頁面上，黑客表示，該工具可以用來編寫惡意程序，并建立“一系列殺毒軟件無法檢測(cè)惡意程序”、對(duì)網(wǎng)站漏洞進(jìn)行檢查，自動(dòng)進(jìn)行密碼撞庫等，并聲稱“目前該惡意工具已售出3000多份”。

01 FraudGPT惡意AI工具：可以一鍵生成多種黑客攻擊代碼

據(jù)悉，F(xiàn)raudGPT的運(yùn)行模式是通過制作一封電子郵件，誘導(dǎo)收貨人以高度可信的方式點(diǎn)擊提供的惡意鏈接。其主要功能包括:

建立釣魚網(wǎng)站頁面

FraudGPT可以生成看似真實(shí)的釣魚攻擊電子郵件、短信或網(wǎng)站，誘騙客戶泄露登錄憑證、財(cái)務(wù)詳細(xì)信息或個(gè)人數(shù)據(jù)等敏感信息；

找出最容易受害的目標(biāo)

聊天機(jī)器人可以模仿人類的對(duì)話，與毫無戒心的用戶建立信任，使他們?cè)诓恢挥X中泄露敏感信息或?qū)嵤┯泻Σ僮鳎?/p>

建立不能檢測(cè)惡意程序

FraudGPT可以建立欺騙性消息，誘導(dǎo)用戶點(diǎn)擊惡意鏈接或下載有害配件，從而導(dǎo)致設(shè)備感染惡意程序；

寫作欺詐短信，郵件

人工智能驅(qū)動(dòng)的聊天機(jī)器人可以幫助黑客建立欺詐性文件、發(fā)票或支付請(qǐng)求，使個(gè)人和企業(yè)成為金融詐騙的受害者。

據(jù)報(bào)道，F(xiàn)raudGPT的名字是 "CanadianKingpin" 開發(fā)者提供。

它主要基于GPT-3的大型語言模型。經(jīng)過訓(xùn)練，它可以生成符合邏輯和事實(shí)的欺詐性文本。FraudGPT一旦付費(fèi)購買，就可以幫助罪犯成功進(jìn)行釣魚攻擊和詐騙。

Canadiankingpin在發(fā)布FraudGPT后，還建立了自己的廣播頻道，宣布將提供包括銷售電子郵件線索、信用卡CVV碼等在內(nèi)的其他欺詐服務(wù)。

按照Canadiankingpin的描述，他已經(jīng)通過了EMPIRE、WHM、TORREZ、多個(gè)暗網(wǎng)市場(chǎng)的供應(yīng)商認(rèn)證，包括ALPHABAY。

但是，由于這些暗網(wǎng)市場(chǎng)非常隱秘和不透明，目前Canadiankingpin的身份仍然是一個(gè)可疑的群體，調(diào)查者只找到了Canadiankingpin的TikTok帳戶和Gmail郵箱，同樣的id。

另外一個(gè)令人沮喪的消息是，經(jīng)過近一周的研究，Netrich并沒有破解FraudGPT背后的大語言模型。

雖然FraudGPT發(fā)布不到兩個(gè)星期，但一個(gè)顯而易見的事實(shí)是，這種“頂級(jí)AI工具”已經(jīng)開始被用于實(shí)際犯罪行為。

Canadiankingpin與一些訂閱客戶分享了許多基于FraudGPT的黑客活動(dòng)，這些活動(dòng)已經(jīng)在一些銷售FraudGPT的暗網(wǎng)上實(shí)現(xiàn)。

根據(jù)Netrich的統(tǒng)計(jì)，F(xiàn)raudGPT從7月22日開始在暗網(wǎng)市場(chǎng)和Telegram頻道流通，訂閱費(fèi)用為每月200美元，每年1700美元。與ChatGPT相比 Plus每月訂閱20美元，價(jià)格是10倍。

到目前為止，暗網(wǎng)上已經(jīng)有超過3000條確定的訂閱信息和評(píng)論。

02 惡意AI攻擊工具：降低網(wǎng)絡(luò)詐騙的進(jìn)入門檻

實(shí)際上， AI 該工具降低了網(wǎng)絡(luò)犯罪分子的進(jìn)入門檻， FraudGPT 這不再是第一個(gè)案例。

即使是Claude、ChatGPT 、Bard和其他AI提供商會(huì)采取一些措施來防止他們的技術(shù)被用于不良目的，但是隨著開源模型的興起，很難遏制罪犯的惡意行為。

7 月初，基于GPT-J開發(fā)的開源大語言模型，WormGPT也引起了關(guān)注，WormGPT使用了大量的惡意程序進(jìn)行練習(xí)和微調(diào)。

據(jù)報(bào)道，WormGPT擅長(zhǎng)使用Python代碼進(jìn)行各種黑客攻擊，例如：生成木馬，惡意鏈接，模仿網(wǎng)站等，它在創(chuàng)建欺詐信息和釣魚郵件等任務(wù)中所表現(xiàn)出的“非凡”能力令人恐懼。

但是相比之下，F(xiàn)raudGPT在功能多樣性和惡意程序編寫方面的作用更加強(qiáng)大。

事實(shí)上，除上述FraudGPT外，、為惡意活動(dòng)而生的聊天機(jī)器人，如WormGPT。

大型語言模型本身隱藏的風(fēng)險(xiǎn)不斷給安全從業(yè)者帶來挑戰(zhàn)。除了眾所周知的幻覺問題，大型軟護(hù)欄也成為網(wǎng)絡(luò)安全的一大噩夢(mèng)。

上個(gè)月ChatGPT、Bard等聊天機(jī)器人出現(xiàn)的“奶奶漏洞”證明了這樣一個(gè)事實(shí)。只有通過提醒這些聊天機(jī)器人扮演客戶已故的奶奶，他們才能在講睡前故事的過程中，甚至手機(jī)的IMEI密碼或Windows激活密鑰，欺騙他們泄露大量有限的信息。

此外，CMU和人工智能安全中心的研究人員還發(fā)現(xiàn)了另一種通用的方法，只需添加一系列具體的無意義token，即可生成prompt后綴。

這個(gè)后綴一旦加入到prompt中，任何人都可以通過對(duì)抗攻擊來破解大模型的安全措施，從而產(chǎn)生無限的有害內(nèi)容。

盡管在過去幾個(gè)月里，OpenAI、世界頂級(jí)科技公司，如谷歌，都在努力為自己開發(fā)的大模型設(shè)計(jì)更多更完善的限制措施，以確保模型能夠在安全穩(wěn)定的情況下工作。

但是很明顯，到目前為止，還沒有人能完全避免類似問題的發(fā)生。

03 在犯罪門檻降低的情況下，公司怎樣預(yù)防？

毫無疑問，無論是WormGPT ，或者FraudGPT ，這一極具威脅性的AI工具，正在“賦能”促進(jìn)網(wǎng)絡(luò)詐騙和詐騙。

“這項(xiàng)技術(shù)將降低釣魚攻擊電子郵件和其他詐騙的門檻，”安全分析平臺(tái)Netenrich曾經(jīng)說過。

隨著時(shí)間的推移，罪犯?jìng)儗⒄业礁嗟姆椒▉砝梦覀儼l(fā)明的工具來提高他們的犯罪能力。

如果AI工具的淘氣表面被淋漓盡致地呈現(xiàn)出來，再加上黑客攻擊「低門檻」，強(qiáng)化防御戰(zhàn)略尤為重要。

所以，有專家針對(duì)個(gè)人和企業(yè)，提出了一些可以采取的關(guān)鍵措施，以確保免受傷害。 類似AI工具的FraudGPT和威脅。

提高對(duì)網(wǎng)絡(luò)通信的警惕

不要點(diǎn)擊不熟悉的網(wǎng)頁鏈接和電子郵件，安裝未知的軟件。同時(shí)，需要驗(yàn)證的意外電子郵件，涉及敏感信息和金融投資，應(yīng)通過官方渠道驗(yàn)證。

及時(shí)掌握網(wǎng)絡(luò)安全措施

利用信譽(yù)良好的防病毒程序，及時(shí)更新安全軟件，安裝補(bǔ)丁，防止?jié)撛谕{。與此同時(shí)，還要了解最新的網(wǎng)絡(luò)安全實(shí)踐，增強(qiáng)黑客攻擊的防御意識(shí)。

對(duì)未知鏈接和配件保持警惕

不要點(diǎn)擊未知來源鏈接或打開配件。FraudGPT可以生成指向網(wǎng)絡(luò)釣魚網(wǎng)站的真實(shí)URL。因此，在點(diǎn)擊任何鏈接之前，驗(yàn)證發(fā)件人的身份尤為重要。

對(duì)員工進(jìn)行教育和培訓(xùn)

對(duì)企業(yè)而言，對(duì)網(wǎng)絡(luò)安全實(shí)踐良好的員工進(jìn)行培訓(xùn)尤為重要。確保員工了解潛在的威脅，知道如何識(shí)別異?；顒?dòng)。如員工遇到任何異常消息，應(yīng)立即向IT部門報(bào)告。

04 結(jié)語

隨著模型能力的不斷提高，AI大模型的快速發(fā)展給許多領(lǐng)域帶來了積極的影響，同時(shí)也在惡意活動(dòng)中得到了應(yīng)用，破壞力日益增強(qiáng)。

但是無論是FraudGPT、事實(shí)上，WormGPT等惡意程序的出現(xiàn)并不是為了告訴我們AI有多危險(xiǎn)，而是為了告訴我們AI領(lǐng)域存在的許多問題，比如幻覺和越獄。

就像Rakesh一樣，網(wǎng)絡(luò)安全專家 在一個(gè)關(guān)于FraudGPT的分析博客中，Krishnan寫道：技術(shù)是一把雙刃劍，網(wǎng)絡(luò)犯罪分子利用生成AI的能力，我們也可以利用這種能力來突破他們提出的挑戰(zhàn)。

技術(shù)作惡者不會(huì)停止創(chuàng)新，我們也不會(huì)。

令人欣慰的是，目前國內(nèi)外政府和科技企業(yè)都在積極完善相關(guān)的人工智能監(jiān)管政策和相關(guān)法規(guī)。

7月中旬，國家網(wǎng)信辦聯(lián)合六部門發(fā)布了《生成式人工智能服務(wù)管理暫行辦法》；7月底，美國7家AI巨頭也與白宮達(dá)成協(xié)議，將水印添加到AI生成內(nèi)容中。

最近，許多AIGC應(yīng)用程序，包括數(shù)據(jù)收集和使用不合規(guī)性，被要求在蘋果商店下架，這也證明了監(jiān)管措施正在發(fā)揮積極作用。

雖然人工智能在技術(shù)和控制方面還有很長(zhǎng)的路要走，但我相信，隨著各行各業(yè)的共同努力，很多問題很快就會(huì)得到解決。

本文來自微信微信官方賬號(hào)“科技云報(bào)道”（ID：ITCloud-BD），作者：科技云報(bào)道，36氪經(jīng)授權(quán)發(fā)布。

本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請(qǐng)?jiān)谖闹凶⒚鱽碓醇白髡呙帧?/p>

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請(qǐng)及時(shí)與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com