Qwen2，開源界最強(qiáng)大的語(yǔ)言模型，來(lái)了！

智東西 6 月 7 日?qǐng)?bào)今天，阿里云正式開源通義千問(wèn) Qwen2系列模型，其中，Qwen2-72B變成全球性能最強(qiáng)的開源模型。

Qwen2 有多強(qiáng)？總之，在全球權(quán)威評(píng)估中，性能超過(guò)美國(guó)最強(qiáng)。開源模型3-70BLlama3-，也超過(guò)文心 4.0、豆包 pro、混元 pro 等眾多中國(guó)閉源大模型。

Qwen2 為什么可以打破開源大模型的性能天花板？今天，阿里云不僅僅是 Qwen2 開放系列模型免費(fèi)下載，還首次披露了背后的煉模“秘籍”，有關(guān)重要技術(shù)的細(xì)節(jié)將被公開。

Qwen2 下載鏈接 :https://modelscope.cn/organization/qwen

▲每個(gè)人都可以在魔法社區(qū)和 Hugging Face 免費(fèi)下載 Qwen2 系列模型

干倒 Llama 3-70B，超越閉源模型，Qwen2 開源能力最強(qiáng)的列表

這一次，新開源 Qwen2 系列包含五個(gè)大小的預(yù)訓(xùn)練和指令微調(diào)模型是：Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B-A14B 以及 Qwen2-72B。

▲ Qwen2 該系列包含五個(gè)尺寸模型版本。

相比今年 2 月亮推出的通義千問(wèn) Qwen1.5，Qwen2 實(shí)現(xiàn)了跨代飛躍的綜合性能。

對(duì)權(quán)威模型進(jìn)行評(píng)估 OpenCompass 中，以前開源的 Qwen1.5-110B 已經(jīng)領(lǐng)先于文心 4.0 等待一群中國(guó)的閉源模式。它還意味著，剛開源的。Qwen2-72B 繼續(xù)擴(kuò)大和這些閉源模型的領(lǐng)先優(yōu)勢(shì)。

▲ Qwen1.5-110B 已經(jīng)領(lǐng)先于多個(gè)閉源模型

對(duì)比3-70BLlama3-、Mixtrl-8x22B等待當(dāng)前最佳開源模式，Qwen2-72B還可以實(shí)現(xiàn)全面超越的能力。

但在 MMLU、GPQA、HumanEval、GSM8K、BBH、MT-Bench、Arena Hard、LiveCodeBench Qwen2-72B等十幾項(xiàng)國(guó)際權(quán)威評(píng)估 一舉奪得世界冠軍，在自然語(yǔ)言理解、知識(shí)、代碼、數(shù)學(xué)、多語(yǔ)言等方面表現(xiàn)突出，毫無(wú)懸念地登上世界上最強(qiáng)的開源模式的寶座。

▲ Qwen2-72B 超過(guò)當(dāng)前十幾個(gè)全球權(quán)威檢測(cè)中最好的開源模型

但是就小模型而言，Qwen2 該系列模型基本上可以超過(guò)最佳開源模型甚至更大規(guī)模的相同規(guī)模。Qwen2-7B與最近推出的最佳模型相比。-Instruct 仍然可以在多種評(píng)價(jià)方面取得顯著的優(yōu)勢(shì)，尤其是代碼和中文理解。

▲ Qwen2-7B-Instruct 在多次評(píng)估中取得顯著優(yōu)勢(shì)

現(xiàn)在，Qwen2 該系列已經(jīng)推出了魔搭社區(qū) ModelScope 以及阿里云百煉平臺(tái)，開發(fā)者可以通過(guò)阿里云百煉平臺(tái)在神奇社區(qū)感受下載模型，或者調(diào)用模型。 API。

一年發(fā)三代模型，穩(wěn)坐開源大模型鐵王座，阿里云首次披露創(chuàng)新“秘籍”

Qwen2 阿里云今年發(fā)布，距離阿里云 2 月推出 Qwen1.5 僅僅三個(gè)多月過(guò)去了。

相比上一代 Qwen1.5，Qwen2邏輯性判斷，多語(yǔ)言能力，長(zhǎng)文本處理，代碼，數(shù)學(xué)等待能力全面提升。

1、代碼，數(shù)學(xué)能力大大提高，輾壓 Llama 3

就代碼而言，Qwen2 研究與開發(fā)融為一體 Qwen1Code.5 成功的經(jīng)驗(yàn)，完成了多種編程語(yǔ)言的顯著提高；在數(shù)學(xué)方面，Qwen2-72B基于大規(guī)模、高質(zhì)量的數(shù)據(jù)。-Instruct 在多次評(píng)估中，以輾壓之勢(shì)超越 Llama 3-7B-Instruct。

▲ Qwen2 大大提高了代碼和數(shù)學(xué)能力

2、支持 128k 長(zhǎng)文，開源智能體方案

如圖所示，現(xiàn)在 Needle in a Haystack Qwen2-72B測(cè)試集-Instruct 能完美處理128k前后文長(zhǎng)度中的信息提取任務(wù)。

與此同時(shí)，Qwen2 其它模型在系列中的表現(xiàn)也非常突出：Qwen2-7B-Instruct 幾乎完美的處理接近 128k 前后文；Qwen2-57B-A14B-Instruct 則能處理 64k 前后文長(zhǎng)度；而本系列中的兩個(gè)較小模型則支持 32k 前后文長(zhǎng)度。

▲ Qwen2 該系列在長(zhǎng)文方面表現(xiàn)突出。

除長(zhǎng)前后文模型外，阿里云這次還開源了一個(gè)模型。智能化解決方案，適用于高效處理 100 萬(wàn) tokens 等級(jí)前后文。

3、加強(qiáng)安全，和 GPT-4 表現(xiàn)相當(dāng)

以下是四種多語(yǔ)言不安全查詢類型的大型模型，包括違法活動(dòng)、欺詐、色情、隱私暴力等有害響應(yīng)比例。

通過(guò)顯著性檢測(cè)（P Qwen2-72B值)-Instruct 在安全方面，模型與GPT-4表現(xiàn)相當(dāng)，而且明顯優(yōu)于 Mixtral-8x22B 模型。Llama 3 處理多語(yǔ)言提醒方面表現(xiàn)不佳，因而未將其納入比較。

▲ Qwen2-72B-Instruct 就安全而言 GPT-4 表現(xiàn)相當(dāng)

模型迭代的速度和力量，讓阿里云穩(wěn)坐開源大模型鐵王座。

2023 年 8 月亮，阿里云成了國(guó)內(nèi)首次宣布開源自研模型科技企業(yè)，推出第一代通義千問(wèn)開源模型 Qwen；2024 年 2 月，1.5 代開源模型 Qwen1.5 發(fā)布；不到 4 Qwen2在幾個(gè)月后 開源，從而實(shí)現(xiàn)全尺寸、全模態(tài)開源。

不到一年，Qwen 系列 72B、110B 模型數(shù)次登頂 HuggingFace 的 Open LLM Leaderboard 等待開源模型列表。

▲ Qwen-72B 登頂 HuggingFace 大型開源模型排行榜

▲ Qwen1.5-110B 登頂 HuggingFace 大型開源模型排行榜

▲ Qwen2-72B 登頂 HuggingFace 大型開源模型排行榜

▲Qwen2-72B在阿拉伯語(yǔ)名單上。 穩(wěn)居第一

同時(shí)，阿里云也是如此首次披露 Qwen2 R&D背后的許多創(chuàng)新方法。

依據(jù)通義千問(wèn)技術(shù)博客， Qwen1.5 在系列中，只有 32B 和 110B 模型使用了GQA(分組查詢注意力)。這次，所有的尺寸模型都使用了。 GQA，這樣就可以使模型大大加速了推理，顯著減少了顯存占用。。

前后文長(zhǎng)度方面，Qwen2 所有的系列模型都在 32k 練習(xí)前后文數(shù)據(jù)，可以支持128k前后處理；為了提高模型的多語(yǔ)言能力，團(tuán)隊(duì)還對(duì)除中英文以外的模型進(jìn)行處理。27 種語(yǔ)言加強(qiáng)了語(yǔ)言轉(zhuǎn)換問(wèn)題，并有針對(duì)性地改善了語(yǔ)言轉(zhuǎn)換。

▲ Qwen2 除了中英文之外 27 各種語(yǔ)言得到了加強(qiáng)

就模型訓(xùn)練而言，團(tuán)隊(duì)融合了監(jiān)管微調(diào)，反饋模型訓(xùn)練以及在線 DPO等待方法，還是采用了網(wǎng)上模型合并減少對(duì)齊稅的方法。所有這些做法都很大提高了模型的基本能力和智能水平。。

模型后期精調(diào)過(guò)程中，通義千問(wèn)團(tuán)隊(duì)在場(chǎng)訓(xùn)練規(guī)?；?/strong>同時(shí)，盡量減少人工標(biāo)注，采用自動(dòng)方法獲取高質(zhì)量的指令和偏好數(shù)據(jù)，包括拒絕取樣數(shù)學(xué)、對(duì)代碼和指令遵循的代碼執(zhí)行反饋、對(duì)創(chuàng)意寫作的翻譯、對(duì)角色扮演的反饋。 Scalable Oversight 等。

不久之后，通義千問(wèn)隊(duì)將推出。 Qwen2 的完整的技術(shù)報(bào)告。

超級(jí)豪華生態(tài)陣容，模型下載超級(jí)豪華 1600 萬(wàn)，孵化模型應(yīng)用超級(jí) 1500 個(gè)

雖然大模型開源和閉源之爭(zhēng)的話題還在繼續(xù)，但開源對(duì)大模型生態(tài)的積極意義已經(jīng)成為行業(yè)共識(shí)，這也是阿里云堅(jiān)持大模型開源的核心原因。

中國(guó)信息化百人會(huì)執(zhí)委、阿里云副總裁安筱鵬曾生動(dòng)地用“爬珠峰”闡述了開源的價(jià)值:“生態(tài)的價(jià)值就是開源的價(jià)值，也就是我派了一架直升機(jī)把你從海拔上拉出來(lái)。 0 將大米運(yùn)到珠峰本營(yíng)。 5000 米，剩下 3000 你可以再爬一次米?！?/p>

高質(zhì)量的開源模型，可以促進(jìn)大模型生態(tài)的繁榮，使大量的開發(fā)者創(chuàng)新地站在巨人的肩膀上，從阿里云 Qwen 根據(jù)開源社區(qū)的一系列反饋，這種生態(tài)邏輯確實(shí)有效。

據(jù)阿里云官方資料顯示，Qwen 在過(guò)去的一個(gè)月里，系列模型的總下載量翻了一番，已經(jīng)突破1600 萬(wàn)次。與此同時(shí)，國(guó)內(nèi)外開源社區(qū)已經(jīng)超越。1500 款基于 Qwen 模型和應(yīng)用的二次開發(fā)。

事實(shí)上，從今年開始 2 月 Qwen1.5 在發(fā)布前后，有大量的開發(fā)者催促更多。 Qwen2。6 月 7 日 Qwen2 上線之后，多個(gè)開源生態(tài)伙伴是重要的迅速宣布支持 包括Qwen2 TensorRT-LLM、OpenVINO、OpenCompass、XTuner、LLaMA-Factory、Firefly、OpenBuddy、vLLM、Ollama 等。

▲ Qwen 多個(gè)重要的開源生態(tài)伙伴系列

就全球開源大模型競(jìng)爭(zhēng)格局而言，除美國(guó)外 Llama 開源生態(tài)，通義千問(wèn) Qwen 這一系列已經(jīng)成為全球開發(fā)者的另一個(gè)主流選擇。

一年前，業(yè)內(nèi)人士普遍認(rèn)為開源模型和閉源模型之間存在一定的差異；如今，開源模型已經(jīng)表現(xiàn)出超越最強(qiáng)閉源模型的勢(shì)頭，關(guān)于“開源模型不如閉源模型”的說(shuō)法已經(jīng)成為一種謬論。

開源模式和閉源模式相互追逐，不斷攀升，帶來(lái)了企業(yè)和開發(fā)者更廣泛、更豐富的模型組合選擇，以及更低的模型組合選擇。 AI 落地門檻，使用效果更好。

結(jié)論：大模型競(jìng)賽升級(jí)，開源模型大進(jìn)化，閉源派出招募。

最近幾個(gè)月，開源大模型和閉源大模型互相追逐，這場(chǎng)拉鋸戰(zhàn)愈演愈烈。

先是今年 4 月 Meta 發(fā)布的 Llama 3-70B 趕超 Gemini Pro 1.5 等待眾多閉源模型，被視為“開源模型”，一舉翻越。 GPT-4 “高峰”的象征；接著是阿里云今天推出的 Qwen2-72B 再一次屠榜，不但趕超 Llama 3-70B，還干翻了一大批頭部閉源模型，進(jìn)一步推動(dòng)大模型生態(tài)學(xué)的發(fā)展。

雖然通用人工智能是通用的（AGI）大門剛剛打開，但是大模型應(yīng)用創(chuàng)新的奇點(diǎn)還遠(yuǎn)沒(méi)有到來(lái)，就像阿里云智能集團(tuán)一樣。 CTO 周靖人說(shuō)，大模型還有很大一部分潛力沒(méi)有真正被發(fā)現(xiàn)。當(dāng)越來(lái)越多的開發(fā)者和公司融入這個(gè)過(guò)程時(shí)，會(huì)帶來(lái)巨大的變化。

并且堅(jiān)持開源開放是加速這一進(jìn)程的最佳途徑。自我 2023 年 8 從月份開始，阿里云不到一年就陸續(xù)推出。 Qwen、Qwen1.5、Qwen2 三代開源模型，完成了全尺寸、全模態(tài)開源，為大模型開源生態(tài)提供了強(qiáng)大的引擎。

開源和閉源都是大型產(chǎn)業(yè)的中堅(jiān)力量。在開源力量大踏步前進(jìn)的時(shí)候，下一步，閉源派將如何應(yīng)對(duì)，我們拭目以待！

本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請(qǐng)?jiān)谖闹凶⒚鱽?lái)源及作者名字。

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請(qǐng)及時(shí)與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com