Qwen2下載鏈接：https://modelscope.cn/organization/qwen

▲所有人都可以在魔法社區(qū)和Hugging Qwen2系列模型Face免費(fèi)下載。

把Llama干掉 3-70B，趕超閉源模型，Qwen2最強(qiáng)開(kāi)源能力列表

這一次，新開(kāi)源的Qwen2系列包括五個(gè)大小的預(yù)訓(xùn)練和指令微調(diào)模型是：Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B和Qwen2-72B。

▲Qwen2系列包含五個(gè)尺寸模型版本。

Qwen2與今年2月推出的通義千問(wèn)Qwen1.5相比，完成了跨代飛躍的綜合性能。

在OpenCompass的權(quán)威模型評(píng)估列表中，之前開(kāi)源的Qwen1.5-110B已經(jīng)領(lǐng)先于中國(guó)的閉源模型，如文心4.0。這也意味著新開(kāi)源的Qwen2-72B繼續(xù)擴(kuò)展和這些閉源模型的領(lǐng)先優(yōu)勢(shì)。

▲Qwen1.5-110B已經(jīng)領(lǐng)先于多個(gè)閉源模型

對(duì)比3-70BLlama3-、Mixtrl-8x22B等待當(dāng)前最佳開(kāi)源模式，Qwen2-72B還可以實(shí)現(xiàn)全面超越的能力。

但是在MMLU、GPQA、HumanEval、GSM8K、BBH、MT-Bench、Arena Hard、在LiveCodeBench等十多項(xiàng)國(guó)際權(quán)威評(píng)估中，Qwen2-72B一舉奪得世界冠軍，在自然語(yǔ)言理解、知識(shí)、代碼、數(shù)學(xué)、多語(yǔ)言等方面表現(xiàn)突出，毫無(wú)懸念地登上了世界上最強(qiáng)的開(kāi)源模式。

▲Qwen2-72B超過(guò)了目前十幾個(gè)全球權(quán)威檢測(cè)中最好的開(kāi)源模型

但是在小模型方面，Qwen2系列模型基本上可以超過(guò)最佳的開(kāi)源模型，甚至更大的規(guī)模。Qwen2-7B-Instruct仍然可以在多種評(píng)價(jià)方面取得顯著的優(yōu)勢(shì)，尤其是在代碼和中文理解方面。

▲Qwen2-7B-Instruct在多種評(píng)估方面具有顯著優(yōu)勢(shì)。

目前，Qwen2系列已經(jīng)推出了魔法社區(qū)ModelScope和阿里云百煉平臺(tái)。開(kāi)發(fā)者可以在魔法社區(qū)感受和下載模型，也可以通過(guò)阿里云百煉平臺(tái)調(diào)用模型API。

一年發(fā)三代模型，穩(wěn)坐開(kāi)源大模型鐵王座，阿里云首次披露創(chuàng)新“秘密”

在阿里云今年2月推出Qwen1.5之前，Qwen2的發(fā)布只有三個(gè)多月。

Qwen2與上一代Qwen1.5相比。邏輯性判斷，多語(yǔ)言能力，長(zhǎng)文本處理，代碼，數(shù)學(xué)等待能力全面提升。

1、代碼，數(shù)學(xué)能力大大提高，滾壓Llama 3

在代碼方面，CodeQwen1.5的成功經(jīng)驗(yàn)融入到Qwen2的研發(fā)中，在各種編程語(yǔ)言中取得了顯著的效果；在數(shù)學(xué)方面，基于大規(guī)模、高質(zhì)量的數(shù)據(jù)，Qwen2-72B-Instruct在多個(gè)評(píng)價(jià)中超越了Llamama 3-7B-Instruct。

▲代碼和數(shù)學(xué)能力的Qwen2大大提高了Qwen2

2、開(kāi)源智能體方案支持128k長(zhǎng)文本。

如圖所示，在Needle in a Qwen2-72B-Instruct可以在Haystack測(cè)試集中完美處理。128k前后文長(zhǎng)度中的信息提取任務(wù)。

與此同時(shí)，Qwen2系列中其它模型的表現(xiàn)也非常突出：Qwen2-7B-Instruct幾乎完美地處理了近128k的前后文；Qwen2-57B-A14B-Instruct可以處理64k的前后文長(zhǎng)度；而且這個(gè)系列中的兩個(gè)小模型支持32k的前后文長(zhǎng)度。

▲在長(zhǎng)文中，Qwen2系列表現(xiàn)突出。

除長(zhǎng)前后文模型外，阿里云這次還開(kāi)源了一個(gè)模型。智能化解決方案，前后文用于有效處理100萬(wàn)tokens級(jí)別。

3、增強(qiáng)安全性，與GPT-4相當(dāng)。

以下是四種多語(yǔ)言不安全查詢類型的大型模型，包括違法活動(dòng)、欺詐、色情、隱私暴力等有害響應(yīng)比例。

Qwen2-72B-Instruct模型通過(guò)顯著性檢測(cè)(P值)在安全性方面和GPT-4性能相當(dāng)，且明顯優(yōu)于Mixtral-8x22B模型。Llama 三是在處理多語(yǔ)言提醒方面表現(xiàn)不佳，所以沒(méi)有將其納入比較。

▲在安全性方面，Qwen2-72B-Instruct與GPT-4相當(dāng)。

模型迭代的速度和力量，讓阿里云穩(wěn)坐開(kāi)源大模型鐵王座。

2023年8月，阿里云成為國(guó)內(nèi)首次宣布開(kāi)源自研模型科技企業(yè)，Qwen推出通義千問(wèn)第一代開(kāi)源模型；2024年2月，Qwen1.5發(fā)布了1.5代開(kāi)源模型；Qwen2開(kāi)源不到4個(gè)月，從而實(shí)現(xiàn)了全尺寸、全模式開(kāi)源。

不到一年，Qwen系列72B、110B模型數(shù)次登上HuggingFace 的Open LLM 開(kāi)源模型列表，如Leaderboard，。

▲Qwen-HuggingFace開(kāi)源大模型72B登頂榜單

▲Qwen1.HuggingFace開(kāi)源大模型5-110B排名榜單

▲Qwen2-72B登頂HuggingFace開(kāi)源大型模型排行榜

▲Qwen2-72B在阿拉伯語(yǔ)名單中排名第一。

同時(shí)，阿里云也是如此Qwen2研發(fā)背后的許多創(chuàng)新方法首次披露。。

據(jù)通義千問(wèn)技術(shù)博客介紹，在Qwen1.5系列中，只使用了32B和110B模型GQA(分組查詢注意力)。這次，所有的尺寸模型都使用了GQA，這樣模型就可以了大大加速了推理，顯著減少了顯存占用。。

前后文長(zhǎng)度方面，Qwen2系列模型全部在32k前后的數(shù)據(jù)上進(jìn)行練習(xí)，可以支持128k前后處理；為了提高模型的多語(yǔ)言能力，團(tuán)隊(duì)還對(duì)除中英文以外的模型進(jìn)行處理。27種語(yǔ)言加強(qiáng)了語(yǔ)言轉(zhuǎn)換問(wèn)題，并有針對(duì)性地改善了語(yǔ)言轉(zhuǎn)換。

▲Qwen2強(qiáng)化了除中英文以外的27種語(yǔ)言。

就模型訓(xùn)練而言，團(tuán)隊(duì)融合了監(jiān)管微調(diào)，反饋模型訓(xùn)練以及在線DPO等待方法，還是采用了網(wǎng)上模型合并減少對(duì)齊稅的方法。所有這些做法都很大提高了模型的基本能力和智能水平。。

模型后期精調(diào)過(guò)程中，通義千問(wèn)團(tuán)隊(duì)在場(chǎng)訓(xùn)練規(guī)模化同時(shí)，盡量減少人工標(biāo)注，采用自動(dòng)方法獲取高質(zhì)量的指令和偏好數(shù)據(jù)，包括拒絕數(shù)學(xué)采樣、代碼執(zhí)行反饋和指令遵循的代碼執(zhí)行反饋、創(chuàng)意寫(xiě)作的翻譯、角色扮演的Scalable Oversight等。

不久之后，通義千問(wèn)團(tuán)隊(duì)將推出Qwen2完整的技術(shù)報(bào)告。

超級(jí)豪華生態(tài)陣容，下載模型超過(guò)1600萬(wàn)，孵化模型應(yīng)用超過(guò)1500個(gè)。

雖然大模型開(kāi)源和閉源之爭(zhēng)的話題還在繼續(xù)，但開(kāi)源對(duì)大模型生態(tài)的積極意義已經(jīng)成為行業(yè)共識(shí)，這也是阿里云堅(jiān)持大模型開(kāi)源的核心原因。

中國(guó)信息化百人會(huì)執(zhí)委、阿里云副總裁安筱鵬曾以“攀登珠峰”生動(dòng)闡述開(kāi)源的價(jià)值:“生態(tài)的價(jià)值就是開(kāi)源的價(jià)值，也就是我派了一架直升機(jī)，把你從海拔0米的地方運(yùn)到珠峰本營(yíng)5000米，剩下的3000米你再爬。”

高質(zhì)量的開(kāi)源模型，可以促進(jìn)大模型生態(tài)的繁榮，使大量的開(kāi)發(fā)者創(chuàng)新地站在巨人的肩膀上，這種生態(tài)邏輯在阿里云Qwen系列開(kāi)源社區(qū)的反饋中確實(shí)有效。

據(jù)阿里云官方資料顯示，Qwen系列模型在過(guò)去一個(gè)月內(nèi)總下載量翻了一番，已經(jīng)突破1600萬(wàn)次。與此同時(shí)，國(guó)內(nèi)外開(kāi)源社區(qū)已經(jīng)超越。1500款基于Qwen二次開(kāi)發(fā)模型和應(yīng)用。

事實(shí)上，自今年2月Qwen1.5發(fā)布以來(lái)，已經(jīng)有大量的開(kāi)發(fā)者催促Q(mào)wen2。6月7日Qwen2上線后，多個(gè)開(kāi)源生態(tài)伙伴是重要的包括TensorRTT在內(nèi)的快速宣布支持Qwen2。-LLM、OpenVINO、OpenCompass、XTuner、LLaMA-Factory、Firefly、OpenBuddy、vLLM、Ollama等。

▲Qwen系列有許多重要的開(kāi)源生態(tài)伙伴。

除美國(guó)Llama開(kāi)源生態(tài)外，通義千問(wèn)Qwen系列也成為全球開(kāi)發(fā)者的另一個(gè)主流選擇，從全球開(kāi)源大模式的競(jìng)爭(zhēng)格局來(lái)看。

一年前，業(yè)內(nèi)人士普遍認(rèn)為開(kāi)源模型和閉源模型之間存在一定的差異；如今，開(kāi)源模型已經(jīng)表現(xiàn)出超越最強(qiáng)閉源模型的勢(shì)頭，關(guān)于“開(kāi)源模型不如閉源模型”的說(shuō)法已經(jīng)成為一種謬論。

開(kāi)源模式和閉源模式相互追逐，不斷上升，會(huì)帶來(lái)更廣泛、更豐富的模型組合選擇，更低的AI落地門(mén)檻，更好的應(yīng)用效果。

結(jié)論：大模型競(jìng)賽升級(jí)，開(kāi)源模型大進(jìn)化，閉源派出招募。

近幾個(gè)月來(lái)，開(kāi)源大模型和閉源大模型相互追逐，這場(chǎng)拉鋸戰(zhàn)愈演愈烈。

首先，Llamama發(fā)布于今年4月的Meta。 超越Geminini3-70B Pro 像1.5這樣的閉源模型被視為“開(kāi)源模型將一舉超越GPT-4高峰”的象征；然后，阿里云今天推出的Qwen2-72B再次屠殺榜單，不僅超越了Llama 3-70B，還干翻了一大批閉源模型，進(jìn)一步推動(dòng)了大模型生態(tài)的發(fā)展。

雖然通用人工智能是通用的（AGI）大門(mén)剛剛打開(kāi)，但大模型應(yīng)用創(chuàng)新的奇點(diǎn)還遠(yuǎn)未到來(lái)。正如阿里云智能集團(tuán)首席執(zhí)行官周靖人所說(shuō)，大模型還有很大一部分潛力沒(méi)有真正被發(fā)現(xiàn)。當(dāng)越來(lái)越多的開(kāi)發(fā)者和公司融入這個(gè)過(guò)程時(shí)，會(huì)帶來(lái)巨大的變化。

堅(jiān)持開(kāi)源開(kāi)放是加快這一進(jìn)程的最佳途徑。自2023年8月以來(lái)，不到一年的時(shí)間，阿里云就陸續(xù)推出了Qwen、Qwen1.5、第三代Qwen2開(kāi)源模型，完成了全尺寸、全模態(tài)開(kāi)源，為大模型開(kāi)源生態(tài)提供了強(qiáng)大的引擎。

開(kāi)源和閉源都是大型產(chǎn)業(yè)的中堅(jiān)力量。在開(kāi)源力量大踏步前進(jìn)的時(shí)候，下一步，閉源派將如何應(yīng)對(duì)，我們拭目以待！

本文來(lái)自微信微信官方賬號(hào)的“智東西”（ID：zhidxcom），作者：三北，原標(biāo)題為“阿里云發(fā)布最強(qiáng)開(kāi)源大模型Qwen2，干倒Llamama” 3、比閉源模型更強(qiáng)”，36氪經(jīng)授權(quán)發(fā)布。

本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請(qǐng)?jiān)谖闹凶⒚鱽?lái)源及作者名字。

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請(qǐng)及時(shí)與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com