文｜李然，陳斯達(dá)

編輯｜蘇建勛

開源社區(qū)燈塔，“真的·OpenAI"-Meta拋出了目前開源最強(qiáng)的大型Llamama模型。 3。

模型下載地址：https://llama.meta.com/llama-downloads/GitHub

項(xiàng)目地址：https://github.com/meta-llama/llama3

當(dāng)?shù)貢r(shí)間4月18日，Meta 兩個(gè)開源Llamama發(fā)布 3 8B和Llama 3 外部開發(fā)者免費(fèi)使用70B模型。Llama 這兩個(gè)版本，也將很快登陸主要云供應(yīng)商。

根據(jù)Meta的說法，Llama 3 8B和Llama 3 目前70B的規(guī)模相同，開源模型具有最佳性能。

Llama 3 在一些測(cè)試集中，8B的性能比llama 2 70B還要強(qiáng)！

而且在接下來的幾個(gè)月里，Meta將推出更多版本。Jim，英偉達(dá)高級(jí)科學(xué)家 Fan認(rèn)為Llamamam可能會(huì)在未來發(fā)布。 超過3-400B的版本，將成為某種“分界點(diǎn)”，GPT-4級(jí)模型可以用于開源社區(qū)。

AI開源倡導(dǎo)者吳恩達(dá)說：傳奇研究員：Llama 3的發(fā)布是你這輩子收到的最好的禮物，謝謝你Meta！

Llama 3發(fā)布后，小扎告訴外媒，“我們的目標(biāo)不是與開源模型競爭，而是超越所有人，創(chuàng)造最先進(jìn)的人工智能?！?/p>

具體來說，Llama 3的亮點(diǎn)和特點(diǎn)總結(jié)如下：

• 基于超出15T token訓(xùn)練，大小相當(dāng)于Llama 2數(shù)據(jù)集的7倍以上；

  
  

• 與Llamama相比，訓(xùn)練效率更高 2高3倍；

  
  

• tokenizer支持8K長文本，擁有128K token的詞匯量，可以實(shí)現(xiàn)更好的性能；

  
  

• 最先進(jìn)的性能是大量重要基準(zhǔn)測(cè)試；

  
  

• 加強(qiáng)推理和代碼能力；

  
  

• Llamama在安全方面取得了重大進(jìn)展。 Guard 2、Code Shield 和 CyberSec Eval 新版本的信任和安全工具，也可以比Llama 2有更好的“錯(cuò)誤拒絕表現(xiàn)”。

  
  

基于Meta AstonAI工程師 Zhang透露，Llama 三是從去年夏天開始，團(tuán)隊(duì)克服了一系列的數(shù)據(jù)、預(yù)訓(xùn)練等問題。

他還進(jìn)一步透露，Llama 3之后還將解鎖新的能力-更長的前后文本，支持400B版本的多模態(tài)、更強(qiáng)的性能。

現(xiàn)在，有興趣的用戶已經(jīng)能夠體驗(yàn)到HuggingChat。

地址：https://huggingface.co/chat/(需要手動(dòng)切換到Llamama 3）

領(lǐng)先，但不多

Llama 3確實(shí)優(yōu)于其它開源模型，但優(yōu)勢(shì)不大。

MMLU顯示的基準(zhǔn)測(cè)試結(jié)果包括MMLU、ARC、DROP、GPQA(與生物、物理、化學(xué)有關(guān)的問題集)、HumanEval(代碼生成測(cè)試)、GSM-8K(數(shù)學(xué)應(yīng)用測(cè)試)、MATH(與數(shù)學(xué)相關(guān)的基準(zhǔn)測(cè)試)、AGIEval(解決問題的測(cè)試集)和BIG-Bench Hard(常識(shí)推理檢測(cè))。

如下圖所示，Llama 3 在九次測(cè)試中，8B的成績領(lǐng)先于同行。但是Mistral 7B(2023年9月發(fā)布)和Gemma 7B不再是最前沿的開源模式。并且在引用的一些基準(zhǔn)測(cè)試中，Llama 3 8B的分?jǐn)?shù)，還是比這兩個(gè)高一點(diǎn)。

在MMLU、Eval和HumanGSM-8K上，Llama 3 Gemininini70B戰(zhàn)勝 1.5 Pro。盡管無法與Anthropic最具性能的模型 Claude 3 Opus堪比，但是 Llama 3 在Claude方面，70B的性能已經(jīng)優(yōu)于 3系列中杯模型Sonnet。

在Meta組織人類反饋評(píng)分中，Llama 3 Mistral70B擊敗、OpenAI、相應(yīng)的產(chǎn)品由Claude發(fā)布。

這種人類反饋測(cè)試更貼近用戶的實(shí)際體驗(yàn)，涵蓋了頭腦風(fēng)暴、創(chuàng)意寫作、角色扮演、復(fù)述、推理、總結(jié)等最常見的大模型使用場景。

Meta別忘了賣個(gè)關(guān)子，說他目前最大的模型參數(shù)已經(jīng)超過4000億(400B)，但是他還在訓(xùn)練。但是根據(jù)Theta Verge，Meta 還沒有最終決定是否開源400B版本。

Llama 2發(fā)布后的幾個(gè)月內(nèi)，開源社區(qū)如雨后春筍般涌現(xiàn)，出現(xiàn)了許多性能非常強(qiáng)大的開源模式。開源社區(qū)的競爭格局發(fā)生了很大的變化。

當(dāng)有人懷疑Meta能否在激烈的競爭中繼續(xù)領(lǐng)先時(shí)，Meta使用Meta。Llama 3發(fā)布后，讓自己再一次坐回開源社區(qū)的鐵王座上。

15萬億token，訓(xùn)練數(shù)據(jù)量大，質(zhì)量高。

Llama 3優(yōu)越的性能離不開龐大數(shù)據(jù)集的訓(xùn)練-15。 萬億token，幾乎是Llama 2的七倍。

堆積只是第一步。Meta在訓(xùn)練中也非常重視數(shù)據(jù)質(zhì)量，使用了許多過濾方法。使用生成數(shù)據(jù)(AI生成的數(shù)據(jù))就是一個(gè)例子。網(wǎng)站介紹:

我們發(fā)現(xiàn)了前幾代 Llama 很好地識(shí)別高質(zhì)量的數(shù)據(jù)，所以我們使用它。 Llama 2為Llamama提供生成訓(xùn)練數(shù)據(jù) 3文本質(zhì)量分類器， Llama 3 給予支持。

新版本的Llama在接受“大量投喂”后，在回答瑣碎問題時(shí)應(yīng)能夠更加準(zhǔn)確，在歷史、STEM、在工程和編程問題上，也會(huì)顯得心應(yīng)手。

Meta還提到，Llama 3預(yù)訓(xùn)練數(shù)據(jù)集的5%以上來自高質(zhì)量的非英語數(shù)據(jù)。這部分的加入主要是為了更好地滿足來自世界各地的客戶和不同語言背景的需求。

然而，對(duì)于所使用的訓(xùn)練數(shù)據(jù)來源，Meta仍然選擇打馬虎眼："收集公共來源（publicly available sources）”。

而且兩個(gè)版本的數(shù)據(jù)截止日期略有不同，8B版本截止日期為2023年3月，70B版本為2023年12月。

由于訓(xùn)練數(shù)據(jù)不足，Meta產(chǎn)生了焦慮，四月初，還被無情地揭開了傷疤。

據(jù)《紐約時(shí)報(bào)》報(bào)道，2023年3月至4月，Meta高層每天都會(huì)召開會(huì)議，討論如何將版權(quán)內(nèi)容喂給模型訓(xùn)練——有些方法可以說，比如購買Simon。 & Schuster出版社；有些不方便說，比如面對(duì)訴訟的風(fēng)險(xiǎn)，在網(wǎng)上收集有版權(quán)的文字。

而且值得注意的是，根據(jù)外媒的說法，Llama 使用的訓(xùn)練數(shù)據(jù)，很大一部分是AI生成的數(shù)據(jù)。

看來，使用AI訓(xùn)練AI，已是一件正在發(fā)生的事了。

與Llamamamama相比，全面優(yōu)化訓(xùn)練流程 2高出3倍

在訓(xùn)練模型的過程中，Meta還分享了許多流程優(yōu)化:數(shù)據(jù)并行化、模型并行化和管道并行化。與前兩代模型相比，Meta也做了很多流程優(yōu)化。

在16000個(gè)GPU的集群訓(xùn)練中，每個(gè)GPU超過4000個(gè) 計(jì)算利用率的TFLOPS。

Meta開發(fā)了一種先進(jìn)的練習(xí)堆棧，可以自動(dòng)執(zhí)行錯(cuò)誤的檢查、處理和維護(hù)，以最大限度地延長GPU的正常運(yùn)行時(shí)間。

Meta還大大改善了硬件可靠性和無聲數(shù)據(jù)損壞檢測(cè)機(jī)制，并開發(fā)了一種新的可擴(kuò)展存儲(chǔ)系統(tǒng)，以減少檢測(cè)點(diǎn)和回滾成本。這些改進(jìn)使得整體有效的培訓(xùn)時(shí)間超過 95%。

綜合起來，這些改進(jìn)使得Llama 與Llamama相比，3的練習(xí)效率 2增加了大約三倍。

最智能的免費(fèi)AI助手，極速文圖

在之前的采訪中，小扎已經(jīng)說過，未來Meta推出的大型模型將重塑自己產(chǎn)品的使用體驗(yàn)。

這次和Llama一起 3一起推出，以Llama為基礎(chǔ)。 3Meta的建造 AI。

按照小扎的說法，Meta 目前，AI已成為最智能的免費(fèi)AI助手。

總結(jié)下來，Meta AI與自己APP生態(tài)的兼容性無疑可以大大提升使用體驗(yàn)——可以在Instagram中使用，無需轉(zhuǎn)換。、Facebook、WhatsApp 和 Messenger Meta在輸入框中暢通使用 AI。

移動(dòng)電話聊天窗口，輸入問題 @Meta AI，可以得到想要的答案?！八叫拧盡eta AI對(duì)話也是可以的。

刷Facebook時(shí)遇到有趣的事，心血來潮有個(gè)疑問，下面打開直接問！

當(dāng)然，Meta沒有忘記PC端。登陸meta.ai，不需要注冊(cè)帳號(hào)，就可以像GPT一樣打開對(duì)話。登陸后當(dāng)然可以保存對(duì)話記錄，以便以后參考。

要知道，OpenAI剛剛在4月1日宣布不需要注冊(cè)ChatGPT。

文生圖的功能非常酷。由于圖像生成速度大大加快，每次輸入幾個(gè)字母，圖像就會(huì)發(fā)生變化——輸了就是收獲！

Meta AI生成的圖片質(zhì)量很高，還可以在原圖的基礎(chǔ)上生成GIF動(dòng)畫，與朋友分享。

據(jù)The Verge, Meta AI 唯一一個(gè)助理集成了 Bing 和 Google 即時(shí)搜索結(jié)果的聊天機(jī)器人-Meta可以決定用什么樣的搜索引擎來回答prompt提示。

據(jù)報(bào)道，Meta正在向美國以外的十幾個(gè)中國推出英文版。 Meta AI?？梢允褂冒拇罄麃?、加拿大、加納、牙買加、馬拉維、新西蘭、尼日利亞、巴基斯坦、新加坡、南非、烏干達(dá)、贊比亞和津巴布韋。 Meta AI。

也許是歷史上最安全的大型開源模型

而且針對(duì)外界對(duì)開源大模型最擔(dān)心的安全問題，Meta這次似乎也做了充分的準(zhǔn)備。

Meta選擇了一種負(fù)責(zé)任地開發(fā)和部署Llamama的新系統(tǒng)級(jí)方法。 三。她們將Llama 3被視為更廣泛系統(tǒng)的一部分，使開發(fā)者能夠完全掌握模型的主導(dǎo)地位。

在保證模型安全方面，指令微調(diào)也起著重要作用。

Meta的指令微調(diào)模型已經(jīng)通過了紅隊(duì)的內(nèi)外測(cè)試。Meta的紅隊(duì)利用人類專家和自動(dòng)化方法生成對(duì)抗性提醒，試圖引起問題響應(yīng)。

在化學(xué)、生物、網(wǎng)絡(luò)安全和其他風(fēng)險(xiǎn)領(lǐng)域，他們進(jìn)行了全面的測(cè)試，以評(píng)估模型的濫用風(fēng)險(xiǎn)。

此外，Meta還采用了行業(yè)內(nèi)最先進(jìn)的大型安全技術(shù)，生來就有自己的Llama Guard 2、Code Shield 和 CyberSec Eval 新版本的信任和安全工具，確保模型不會(huì)輕易越獄，導(dǎo)出有害內(nèi)容。

看起來Meta已經(jīng)完全吸取了去年Llama意外泄漏的教訓(xùn)，在模型安全方面的努力并不遜色于對(duì)性能的向往。

未來，Meta團(tuán)隊(duì)將宣布Llama 3技術(shù)報(bào)告，披露更多模型細(xì)節(jié)。

而且團(tuán)隊(duì)成員還強(qiáng)調(diào)，Meta官方也會(huì)通過直播或博客的方式，讓模型開發(fā)團(tuán)隊(duì)直接與外界進(jìn)行交流。

總而言之，Meta并沒有辜負(fù)開源社區(qū)的期望，繼續(xù)在模型開源的道路上奮力奔跑！

本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請(qǐng)?jiān)谖闹凶⒚鱽碓醇白髡呙帧?/p>

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請(qǐng)及時(shí)與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com