GPT-4o里的“o”代表“omni”，也就是全能…

五月十三日，OpenAI春季發(fā)布會，CTO Mira Murati代表公司向世界發(fā)布了GPT-4o的ChatGPT旗艦版本。OpenAI在整個新聞發(fā)布會上使用了大量的空間，介紹了GPT-4o在移動終端和人類交互方面的先進水平，并通過現(xiàn)場與GPT-4o交流、演唱、即時答題等方式，強調(diào)了新模型多模態(tài)場景下的應用。

官方表示，在GPT-4o推出之前，當用戶使用語音模式與ChatGPT交談時，延遲時間分別為GPT-3.5的2.8秒和GPT-4的5.4秒。GPT-4o將這個延遲大幅縮短到320ms。

由于傳統(tǒng)語音模式通過三種模式實現(xiàn)：音頻轉(zhuǎn)文本，GPT-3.5/GPT-4處理文本，然后將文本轉(zhuǎn)換為音頻。然而，GPT-4會失去信息，因為它不能直接處理語氣、說話人和背景噪音，也不能導出笑聲、唱歌或情緒。GPT-4o通過端到端訓練了一個全新的模型，可以同時處理文本、視覺和音頻輸入導出。這意味著所有的輸入和輸出都由相同的神經(jīng)網(wǎng)絡處理。

多模式升級，GPT要做人類知音？

GPT-4o顯著提高了性能和質(zhì)量。得益于模型架構(gòu)和訓練方法的改進，GPT-4o在處理復雜的任務后顯示出更高的準確性和更快的響應速度。OpenAI表示，GPT-4o的推出將為客戶帶來前所未有的感受，顯著提高自然語言理解、對話系統(tǒng)、數(shù)據(jù)分析和編程協(xié)助的應用效果。

依據(jù)網(wǎng)站信息，GPT-在文本、推理和編碼智能方面，4o實現(xiàn)了GPT-4 在多語言、音頻和視覺功能方面，Turbo級別的性能也達到了新的高水位線。

文本評價：

就文本處理而言，GPT-4o在0-shot CoT（Chain of Thought） MMLU(常識性問題)等測試，獲得88.7%的高分，創(chuàng)下新紀錄。這表明GPT-4o仍然可以在沒有提醒的情況下進行復雜的推理和回答問題。另外，傳統(tǒng)的5-shot no-CoT 在MMLU檢測中，GPT-4o還創(chuàng)下了87.2%的新高分。所有這些評估結(jié)果都是通過新的評估數(shù)據(jù)庫進行的，以確保測試的穩(wěn)定性和權(quán)威性。這不僅提高了模型推理能力，而且增加了其在廣泛任務中的適用性。

音頻性能ASR：

與Whisper-v3相比，在音頻處理方面，GPT-4o自動語音識別（ASR）性能有了很大的提高，尤其是在資源匱乏的語言中。這意味著GPT-4o不僅可以處理主流語言，還可以在更多的學習環(huán)境中提供高質(zhì)量的語音識別服務。

音頻翻譯性能：

與此同時，在線翻譯，GPT-4o還建立了新的行業(yè)標準，在MLS基準測試中表現(xiàn)優(yōu)于Whisper-v3，在跨語言交流和翻譯方面表現(xiàn)出色。

M3Exam零樣本結(jié)果：

就多語言和視覺評價而言，GPT-在M3Exam基準測試中，4o在所有語言測試中都表現(xiàn)出色。這說明GPT-4o不僅在單一的學習環(huán)境中表現(xiàn)出色，而且在多語言環(huán)境中處理復雜的任務，充分展示了其強大的跨語言邏輯和處理能力。

視頻理解評價：

就視覺理解而言，GPT-4o在多個視覺感知標準上實現(xiàn)了最先進的性能。這些基準測試包括0-shot。MMMU、MathVista和ChartQA等，這意味著GPT-4o仍然可以保持高水平的視覺理解和推理能力，而無需樣本學習。這一能力使GPT-4o在處理圖像、圖表和復雜的視覺信息時表現(xiàn)出色，進一步擴大了其在實際應用中的潛力。

GPT-4o在許多技術(shù)領域都取得了顯著的性能提升。多模態(tài)能力使GPT-4o在更多的應用場景中具有更好的實用性。另外，OpenAI提供了一個方便的API接口，使開發(fā)者能夠輕松地將GPT-4o集成到自己的應用中。另外，GPT-4o提供多種平臺和編程語言，進一步提高其使用的靈活性和方便性。

使力端側(cè)應用，OpenAI更關(guān)心情感價值

縱觀整個新聞發(fā)布會，OpenAI的表現(xiàn)并希望人工智能技術(shù)能夠更好地服務每個人的日常生活，而不是突出技術(shù)帶來的行業(yè)變化。

也許這也是Sam Altman選擇更有親和力的女性CTO Mira 為什么Murati會主持這次發(fā)布會？

R&D負責人Barret除了實時語音對話功能外，還帶來了GPT-4o實時處理數(shù)學問題的亮點。Barret手寫了一個方程，并通過攝像頭將其拍攝到GPT-4o中，并要求其進行在線指導。Barret在語音助手的引導下，更容易處理這個問題。

此外，OpenAI還展示了GPT-4o在代碼、實時翻譯等方面的各種問題。雖然有些測試是錯誤的，但整個發(fā)布會都是在相對輕松的環(huán)境中舉行的。它不僅給公司或研究團隊帶來了新的研究內(nèi)容和參考，也讓更多的C端用戶體驗到了AI賦予的全新產(chǎn)品體驗。

在PC端，OpenAI 推出了一個新的 macOS 應用程序旨在簡化工作流程。該應用程序適用于免費和付費用戶，可以無縫集成到用戶在計算機上的操作中。用戶可以通過簡單的鍵盤快捷鍵立即向 ChatGPT 提問，并在應用程序中截取屏幕截屏進行討論。

對于 Plus 對于用戶來說，這個模型 macOS 應用程序?qū)⑻峁└嗟墓δ芎头?。在接下來的幾個星期里，OpenAI 還計劃將該應用程序推廣到更廣泛的用戶群，并計劃在今年晚些時候推出適合用戶的應用程序。 Windows 為滿足不同用戶的需求，平臺版本。

大型世家認為，C端市場在人工智能領域的商業(yè)化過程中起著非常重要的作用。作為一家領先的AI企業(yè)，OpenAI非常重視C端市場的體驗。這種關(guān)注不僅是為了滿足用戶的需求，也是為了為C端市場的進一步商業(yè)化探索鋪平道路。

在C端市場，客戶的需求是多樣化的，變化很快，所以智能化和個性化的體驗也更好。不僅要優(yōu)化模型算法，還要提高交互界面的友好性和便利性，保證用戶在使用產(chǎn)品時能夠享受到流暢自然的交互體驗。

值得注意的是，OpenAI在2024年谷歌I/O大會前一天選擇了“截胡”，這不僅體現(xiàn)了OpenAI對C端多模式大模式市場的重視，也揭示了OpenAI在模型商業(yè)競爭格局中的積極態(tài)度和戰(zhàn)略思維。

這種行動無疑為OpenAI帶來了更多的行業(yè)聲音。在科技行業(yè)，聲音通常與影響力、市場份額和商業(yè)潛力密切相關(guān)。通過這一策略，OpenAI成功吸引了大量用戶和媒體的關(guān)注，進一步鞏固了其在AI技術(shù)領域的領先水平。

此外，OpenAI的這一行動也直接指向C端多模態(tài)大模型的入口。伴隨著技術(shù)的不斷發(fā)展和應用場景的不斷擴大，AI領域多模態(tài)大模型已成為一個重要的發(fā)展方向。它不僅可以處理文本、圖像、音頻等各種信息，還可以實現(xiàn)更智能、更自然的人機交互，給用戶帶來更方便、更豐富的感受。所以，誰能占據(jù)多模態(tài)大模型的入口，誰就有可能在未來的市場競爭中占據(jù)先機。

就大模型商業(yè)競爭格局而言，GPT-4o的免費開放無疑加劇了行業(yè)內(nèi)的競爭，也展現(xiàn)了其對商業(yè)擴張的“欲望”。顯然，谷歌、Meta等科技巨頭不會坐以待斃。谷歌如何在這場“全新升級”的大型商戰(zhàn)中反擊？我相信很快就會揭曉。

本文來自微信微信官方賬號“大模型世家”（ID:damoaihome），作者：王昊達，36氪經(jīng)授權(quán)發(fā)布。

本文僅代表作者觀點，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請在文中注明來源及作者名字。

免責聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請及時與我們聯(lián)系進行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com