IT 世家 6 月 24 近年來，人工智能蓬勃發(fā)展，聊天機器人等應用逐漸普及。人們可以從這些聊天機器人中獲得簡單的指令(例如 ChatGPT）獲取信息。但是，這些聊天機器人仍然容易出現(xiàn)“幻覺”問題，即提供錯誤的答案，有時甚至是危險的信息。

圖源 Pexels

“幻覺”的原因之一是訓練數(shù)據(jù)不準確、泛化能力不足、數(shù)據(jù)收集過程中的副作用。然而，牛津大學的研究人員采取了不同的方法，并在最新出版的《自然》雜志上闡述了他們新開發(fā)的方法，用于檢測大型語言模型 ( LLMs ) 的"編造" ( 即隨意生成的不正確信息 ) 問題。

LLM 通過在訓練數(shù)據(jù)中找到特定的模式來生成答案。但是這種方法并不總是有效的，就像人類可以從云的形狀中看到動物一樣，AI 機器人也可以找到不存在的方法。但是，人們知道云只是一個形狀，天空中沒有漂浮的巨大大象。LLM 這可能被視為真實的，然后“編造”出不存在的新技術和其他虛假信息。

牛津大學的研究人員運用語義熵的概念，通過概率來判斷 LLM 是否存在“幻覺”？。語義熵是指同一句話有多種含義的情況，例如，" desert “可以指沙漠，也可以指拋棄某人。” LLM 當你使用這種詞語時，你可能會對表達的意思感到困惑。研究人員旨在通過檢測語義熵來判斷 LLM 輸出內容沒有“幻覺”的可能。

使用語義熵的優(yōu)點是可以快速檢測，無需額外的監(jiān)督或加強學習。 LLM “幻覺”問題。由于這種方法不依賴于特定任務的數(shù)據(jù)，所以即使是 LLM 面對從未遇到過的新任務，也可以應用。這將大大提高用戶對于用戶的應用。 LLM 信任，即使是 AI 第一次遇到問題或指令。

研究小組說：“我們的方法可以幫助用戶理解什么時候必須？ LLM 保持謹慎的輸出，并因不可靠而受到限制 LLM 應用程序開辟了一個新世界。

假如語義熵被證明是一種有效的“幻覺”檢測方法，那么我們就可以使用這種工具對人工智能輸出進行雙重檢查，使之成為更可靠的合作伙伴。不過 IT 家庭需要注意的是，即使配置了最先進的錯誤檢測工具，就像人類并非無可挑剔一樣，LLM 還是有可能出錯的。所以，永遠是對的 ChatGPT 等待聊天機器人提供的答案進行仔細檢查仍是明智之舉。

本文僅代表作者觀點，版權歸原創(chuàng)者所有，如需轉載請在文中注明來源及作者名字。

免責聲明：本文系轉載編輯文章，僅作分享之用。如分享內容、圖片侵犯到您的版權或非授權發(fā)布，請及時與我們聯(lián)系進行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com