"開源模型將越來越落后."Create 百度創(chuàng)始人、董事長兼首席執(zhí)行官李彥宏在2024百度AI開發(fā)者大會上的這句話，以及在大會上發(fā)布的PPT，在網(wǎng)上廣為人知，引發(fā)了科技界關于大模型開源vs閉源的爭論。

關于大模型是否要開源的系統(tǒng)性討論，以及李彥宏發(fā)表的一些關于大模型開源的觀點：

"開源模型已經(jīng)很多了，不缺百度一家。"

「以前大家都覺得開源便宜，其實在模型場景中，開源是最貴的?！?/p>

而且模型開源也不是一個人心齊泰山移的情況。像Linuxx這樣的傳統(tǒng)軟件開源、安卓之類的很不一樣，因為是模型帶來的開源，不知道為什么參數(shù)會變成那樣。在這種情況下，很難實現(xiàn)齊泰山的移動。雖然Llama也鼓勵每個人提供各種各樣的數(shù)據(jù)和代碼，但事實上，每個人都知道Meta是最重要的開發(fā)者，它并不是真正由每個人共同開發(fā)的產(chǎn)品?！?/p>

360創(chuàng)始人周鴻祎一直是開源教徒。巧合的是，他在4月13日在哈佛發(fā)表了一篇演講，他還在演講中提到了“沒有開源就沒有Linux、PHP、MySQL甚至互聯(lián)網(wǎng)”的態(tài)度。如果當時沒有谷歌開源Transformer，就不會有OpenAI和GPT，包括人工智能的發(fā)展。由于開源的發(fā)展，我們都是個人和企業(yè)。”

網(wǎng)民猜測周鴻祎正在“暗殺”李彥宏。4月20日后，周鴻祎再次發(fā)文澄清，“這兩天有人挑事，說我攻擊李廠長，我不是為了李廠長，我還是從產(chǎn)業(yè)發(fā)展的角度來看開源和閉源?！?/p>

事實上，兩家科技企業(yè)的創(chuàng)始人關于大型開源vs閉源的爭論，關于復雜系統(tǒng)的爭論，不是簡單的開源好，也不是關于閉源好的二元論，涉及多個問題：

① 開源模型能力在模型領域是否總是落后于閉源模型能力？

② 開源模型，有沒有可能出現(xiàn)商業(yè)化的閉環(huán)？

③ 在真正使用大型模型時，究竟是開源還是閉源性價比更高？

④ 從科技發(fā)展的角度來看，大模型的開源和傳統(tǒng)的開源有什么區(qū)別？

開源不僅僅是開源代碼那么簡單

開源（Open Source）它的起源可以追溯到計算機技術的早期階段。當時軟硬件就像一對連體嬰兒，客戶經(jīng)常要自己編寫或修改軟件來解決問題。到了1955年，IBM做了一個“IBM用戶組分享”，讓大家深入研究他們的操作系統(tǒng)。

在70年代中期，隨著計算機技術的發(fā)展，軟件已經(jīng)成為一種商品，而不是與硬件一起免費提供。軟件共享文化開始受到這些變化的限制。為反對這一趨勢，自由軟件運動（Free Software Movement）開始興起，Richard 1983年，Stallman推出了GNU項目，并于1985年創(chuàng)立了自由軟件基金會。（Free Software Foundation, FSF），促進自由軟件的發(fā)展。

1998年，Eric Raymond和Bruce Perens建立了開源促進會議（Open Source Initiative, OSI），并提出了“開源定義”（Open Source Definition），它是開源軟件的正式定義。OSI旨在推廣開源軟件，并為開源項目提供認證。

根據(jù)開源促進會的說法，開源軟件不僅要公開源代碼，還要滿足一些條件，比如允許大家自由使用、更改和共享這個軟件，甚至基于它創(chuàng)造新的物品。然而，開源軟件并不是什么都不在乎。就像我們經(jīng)常聽到的GPL一樣，它必須在某些開源許可證下發(fā)布。、Apache、這些許可證，BSD和MIT。

為什么周鴻祎會特別提到?jīng)]有開源就沒有Linux？、PHP、與MySQL，這三者與開源的關系是什么？這與當前的科技產(chǎn)業(yè)有什么關系？

●Linux：Linux是一個由Linusus開源的操作系統(tǒng)核心。 1991年，Torvalds首次發(fā)布。 L inux核心是包括Android和大多數(shù)服務器操作系統(tǒng)在內(nèi)的許多現(xiàn)代操作系統(tǒng)的基礎。 開發(fā)Linux的方法——開放源代碼，社區(qū)驅動，合作開發(fā)——成為開源軟件運動的代表性案例。

●Apache HTTP Server：處理HTTP請求并提供Web頁面的強大Web服務器軟件。Apache HTTP Server是互聯(lián)網(wǎng)上最常用的Web服務器之一，因其性能和可配置性而受到青睞。

●PHP：PHP是一種開源服務器端開發(fā)語言，尤其適用于Web開發(fā)，是建立動態(tài)網(wǎng)站和Web應用的常用工具。PHP的開源特性使開發(fā)者能夠自由地使用、修改和改進其功能，從而促進了Web開發(fā)技術的發(fā)展。

●MySQL：MySQL是一種流行的開源關系數(shù)據(jù)庫管理系統(tǒng)。（RDBMS），數(shù)據(jù)存儲廣泛應用于網(wǎng)站和在線應用。MySQL的開源特性使其能被社區(qū)廣泛使用和定制，成為許多網(wǎng)站和網(wǎng)絡應用后端的關鍵組成部分。

它們共同構成了所謂的LAMP。（Linux, Apache, MySQL, PHP/Python/Perl）堆棧的一部分，是建立動態(tài)網(wǎng)站和網(wǎng)絡應用的常用技術組合。作為操作系統(tǒng)，Linux，Apache作為Web服務器，MySQL作為數(shù)據(jù)庫，而PHP(或Python或Perl等其它語言)作為開發(fā)語言，共同支持網(wǎng)絡上的大量網(wǎng)站和應用。

流行的語言解釋是，LAMP就像一個團隊，里面有打樁的Linux，招待用戶的Apache，管理數(shù)據(jù)的MySQL，以及PHP(或Python)。、Perl）。這支團隊合作無間，算是因特網(wǎng)世界的基礎。

除了這些技術的發(fā)展和普及，開源還為全球開發(fā)者社區(qū)提供了一個共享知識、合作和創(chuàng)新的平臺。通過開源代碼，這些項目可以快速迭代，匯聚全球開發(fā)者的智慧，形成強大的生態(tài)系統(tǒng)，促進整個軟件行業(yè)的進步。

到了大模型時代，開源變了嗎？

那么，在大模型時代，開源有什么區(qū)別嗎？在早期的軟件時代，開源一般是由個人和小團隊推動的，關鍵是共享代碼與合作解決問題。開源項目一般由愛好者和志愿者社區(qū)維護，商業(yè)化程度較低。例如，Linux操作系統(tǒng)的誕生和GNU項目的推廣都是這一時期開源生態(tài)的代表。

伴隨著因特網(wǎng)的興起，開源生態(tài)開始加速發(fā)展，開源項目開始得到更廣泛的認可和應用，比如上面提到的LAMP，它們已經(jīng)成為構建網(wǎng)站和網(wǎng)絡應用的基石。另外，開源也開始與商業(yè)模式相結合，例如通過提供技術服務和支持來獲利。

在云計算時代，OpenStack和Docker等云服務提供商開始大量采用和貢獻開源技術，這些技術已經(jīng)成為云計算基礎設施的重要組成部分。開源軟件開始與云服務緊密結合，提供更靈活、更可擴展的解決方案。與此同時，云服務提供商通過提供基于開源軟件的云服務來創(chuàng)造AWS等商業(yè)價值、Azure等等。

在一定程度上，大模型的技術浪潮也是由開源開啟的，谷歌開源了Transformer，之后OpenAI點爆行業(yè)就有了ChatGPT。

圖片：大語言模型進化樹。

但是OpenAI不再是Open，谷歌也不再是Open，大型開源旗幟，而是由于其Llama系列模型，Meta將馬斯克開源Grok模型，位于法國巴黎的Mistral。 AI，成為另外兩個最受關注的大模型開源力量。

然而，在Llama2剛剛發(fā)布之后不久，就有人指責Llama2不符合開源促進會。（OSI）Llama2的許可證包含了一定的限制，例如，禁止使用Llama2來訓練其他語言模型，如果該模型用于每月超過7億客戶的應用程序和服務，則需要獲得Meta的獨特許可證。

大型時代的開源，也變得更加復雜。

第一種是開源方式，僅從Llama系列模型和Mistral系列模型來看，它們的開源方式就不一樣。一位熟悉開源生態(tài)的專家指出，它們之間的主要區(qū)別在于Restrict License(限制許可)VS Apache。Llama的開源屬于前者，從前面描述的Llama2的限制模式可以看出，這種開源模式是指在開放源代碼的同時，對該模型的使用、修改和分發(fā)給予一定的限制。

MIT等完全開放的開源許可證(例如、Apache 不同的是，后者一般用戶可以在幾乎沒有限制的情況下使用和修改軟件，而Mistral、谷歌的開源模型Gemma采用了這種方法，不僅開源了模型的權重，也開源了模型的結構。但是訓練數(shù)據(jù)和訓練過程不是開源的。

除了不同的開源方式，訓練一個大模型通常需要大量的數(shù)據(jù)、計算資源和專業(yè)知識來實踐和優(yōu)化，這些資源往往只能由大型科技公司或科研機構提供。因此，大模型時代的開源主體通常是大型科技公司，或者是資源優(yōu)勢較強的創(chuàng)業(yè)公司，而不是個人；這也導致開源可能會吸引更廣泛的社區(qū)參與，但由于技術門檻和資源需求，實際貢獻可能集中在有限的專家中；一些大公司的開源也考慮到了競爭生態(tài)，所以開源條款的設計會更加復雜。

這一變化與文章開頭提到的李彥宏的觀點相呼應，“模型開源并非一個人心齊泰山移的局面。它就像Linuxx、Android和其他傳統(tǒng)軟件的開源非常不同，因為它們是模型帶來的開源，我們不知道為什么參數(shù)會變成這樣。雖然Llama也鼓勵每個人提供各種數(shù)據(jù)和代碼，但事實上，每個人都知道Meta是最重要的開發(fā)者。這并非真正由每個人共同開發(fā)的產(chǎn)品。”

然而，大模型的生態(tài)才剛剛萌芽。從目前的角度來看，少數(shù)能獲得有限資源的人確實促進了大部分的技術進步。然而，隨著計算率資源成本的降低和門檻的降低，目前還不可能得出“人心齊泰山移”的結論。

然而，大模型的生態(tài)發(fā)展會如何演變？與開源歷史相比，會有哪些不同的特征？這是一個值得科技界長期關注和深入探討的問題。

根據(jù)Benchmark，對比開源閉源模型的能力。

基于大模型開源生態(tài)的演變，還有一個討論焦點，“開源大模型的能力，真的會越來越落后嗎？”

Llama3，被稱為最強開源模型，于4月19日發(fā)布，擁有8B和70B版本，并預測大版本的超過4000億參數(shù)模型也將在晚些時候發(fā)布。Llama 3 最先進的性能體現(xiàn)在多個性能標準上，提供了包括優(yōu)化推理能力在內(nèi)的新功能。

就Benchmark而言，只有70B的Llamamark 根據(jù)推測參數(shù)為175B的Gemininini在各項指標上已經(jīng)可以和 Pro1.5聯(lián)合Claude 數(shù)據(jù)顯示，70BLlama3即使對抗GPT4，在各種benchmark中也已經(jīng)非常接近了。這種情況仍然是在Llama3沒有進行微調的情況下完成的，這表明它在后續(xù)還有很大的改進空間。

同樣，Mistreal，開源界的另外兩大巨頭。 和 Grok最近發(fā)布的模型也顯示出與GPT-4“同代”的水平。Grok1.5V具有多模態(tài)能力，各項指標與GPT4不相上下。Mistreal最近基于Llama2訓練的Miqu 根據(jù)EQbenchmark的測試，70B模型也與GPT4相似。

2023年，國外媒體報道谷歌曾以“主題”為主題，流出一份文件。我們沒有『環(huán)城河』，OpenAI 沒有。在我們還在爭吵的時候，第三方已經(jīng)悄悄地搶走了我們的飯碗——開源?！?/strong>

根據(jù)這份文件，一些開源模型和閉源模型之間的差距正在以驚人的速度縮小。開源模型更快，可定制性更強，更私密，功能性不落后?！皫缀趺總€人都可以根據(jù)自己的想法微調模型，然后一天內(nèi)的訓練周期就會變得正常。以這種速度，微調的積累效應將迅速幫助小模型克服規(guī)模上的劣勢。”

就連谷歌也不得不面對這樣的問題。開源模型在能力上不斷接近閉源模型，而在商業(yè)上，它也在侵蝕和威脅閉源模型。

從技術發(fā)展的歷史規(guī)律來看。技術發(fā)展的曲線必然會經(jīng)歷從危險到放緩的時期，這意味著即使領導者一開始“遙遙領先”，后來者也會逐漸趕上，與領導者的差距也會逐漸縮短。

和Llama3一起發(fā)布的一次采訪，以及扎克伯格，他對Scaling的大模型進行了采訪。 law有一個悲觀的態(tài)度，他認為從現(xiàn)在開始，進步將是漸進的。2025年之前，不會有通用人工智能。(AGI)出現(xiàn)。

也就是說，大型技術的迭代速度可能會變慢，開源也會變慢嗎？開源與閉源的差距，會縮小嗎？

開源還是閉源，究竟怎樣選擇？

選擇開源還是閉源？對企業(yè)客戶而言，最優(yōu)先的問題只有一個，哪一個性價比更高？

在一次公開演講中，清華大學汪玉教授給出了使用GPT系列模型的推理費用，如圖所示：

假設GPT-44采用閉源模型進行API操作， Turbo每天為10億活躍用戶提供服務，每年的計算費用可能超過2000億。目前很多公司的收入規(guī)模都在1億。即使用戶數(shù)量沒有那么大，計算能力的成本也很難支撐自己的業(yè)務，最終形成盈利的商業(yè)閉環(huán)。

但是如果使用GPT3.5，推理價格將大大降低。為了打壓競爭對手，OpenAI將GPT3.5的定價定得非常便宜，100萬token只需要1美元，而Llama2則與其相對應。 在許多情況下，70B模型使用快速API，價格為1美元/100萬token甚至更高。Mixtral-與OpenAI相比，8x7b的價格也是0.7美元/100萬token，價格優(yōu)勢有限。當然，開源模型也有本地部署的優(yōu)點。在本地運營的情況下，其成本只有硬件成本和電費，這絕對是有云服務水平或硬件基礎的大公司最經(jīng)濟的選擇。但并非每個人都有這樣的基礎。

對初創(chuàng)企業(yè)而言，要做個性化應用，首先要有自己專有的微調模式。這個問題涉及到微調訓練的費用。如果Llama22在開源模型上進行相應的練習和微調， 優(yōu)勢顯而易見。Anyscale云服務商 在提供的價格中，70b版只需要4美元/100萬token。GPT3.5則比整整貴一倍，要8美元/100萬token。因此，當你想要真正為自己的業(yè)務建立一個特殊的模型時，從成本的角度來看，開源模型仍然具有一定的優(yōu)勢。

在降低成本方面，創(chuàng)業(yè)公司可以進一步細化。許多企業(yè)選擇混合各種模型。雖然通用大模型性能優(yōu)異，但在實際應用中，使用中小型開源模型，并用特定數(shù)據(jù)進行微調，最終效果可能會更好。

若采用閉源模型，100萬token的消耗速度非?？?，每小時的成本遠遠高于0.6美元。在一次閉門活動中，LeptonAI創(chuàng)始人賈揚清分享說：在北美，許多企業(yè)首先使用閉源模型進行測試(例如OpenAI模型)。測試規(guī)模約為數(shù)百個million(百萬token)，費用約為數(shù)千美元。數(shù)據(jù)飛輪一旦運轉，再保存現(xiàn)有數(shù)據(jù)，用較小的開源模型對自己的模型進行微調。如今，這已成為一種比較標準的方式。

國內(nèi)另一家使用大模型建設業(yè)務的公司的相關負責人也表示，“企業(yè)級應用不太可能使用單一模型，現(xiàn)在已經(jīng)開始按照應用目的進行分模，但跨系統(tǒng)調度的帶寬成本更高。因此，在一個系統(tǒng)中，高、中、低(參數(shù))模型混合的方法是企業(yè)應用當今合理的方案。”

開源和閉源不是公司考慮的核心因素。最好的性價比和公司的數(shù)據(jù)安全可以促進企業(yè)未來戰(zhàn)略的發(fā)展，這可能是選擇的優(yōu)先事項。

開源閉源之爭，到底是什么爭論？

之所以如此關注李彥宏的開源觀，是因為目前各企業(yè)都在探索如何在模型時代找到PMF。（Product Market Fit）。

對公有大模型生態(tài)的規(guī)劃，百度比較早，對百度來說，模型本身就是商品。

根據(jù)媒體消息，金沙江創(chuàng)投主管合伙人朱嘯虎在業(yè)界微信群中表示：“GPT-能夠滿足90%以上的商業(yè)需求并不重要。之后大型API就是自來水的價格。但用戶需要的是純凈水、氣泡水和烏龍……”

純凈水、泡泡水、烏龍茶是針對客戶多樣化需求的多樣化產(chǎn)品形態(tài)思維。

新聞發(fā)布會第二天，賈揚清在朋友圈發(fā)表了一個觀點，“我認為Robin是非常正確的。經(jīng)過最初的應用嘗試，模型特化將在效果和性價比方面更加makee。 選擇sense。“一般大眾的關注點可能是李彥宏在新聞發(fā)布會上說的對不對。業(yè)內(nèi)人士其實關注的是，在開源閉源爭論的背后，以模型為產(chǎn)品的公司如何打造商業(yè)閉環(huán)，未來的增長空間在哪里。通過平臺化商品，實現(xiàn)模型的特殊部署，從培訓到商業(yè)化，再到模型迭代再培訓，實現(xiàn)最高效率和最佳性價比?！?/p>

開源模型的龍頭企業(yè)，比如Meta，提供更原始的技術創(chuàng)新，沒有包裝。他們有強大的計算率資源、R&D部門和經(jīng)濟實力，可以通過技術知名度實現(xiàn)生態(tài)布局。最終可能不是產(chǎn)品本身帶來商業(yè)價值，而是更多的技術服務費用和咨詢費用來源于生態(tài)。

在接受扎克伯格采訪時說，假如模型本來就是商品， Meta將考慮停止開源。，也許模型最終更像是產(chǎn)品本身。在這個時候，我認為是否開源是一個更加棘手的經(jīng)濟考慮。

堅持Scaling law的閉源模型面臨著一個難以解決的矛盾，一方面，scaling law(規(guī)模法則)的道路還沒有走到最后，巨額投資還會繼續(xù)，技術的秘密無法公開；另一方面，免費、優(yōu)質、性價比高的開源模式給持續(xù)燒錢的閉源模型帶來了巨大的壓力。

最近，OpenAI在壓力下改變了API付費模式，從先用后付，改為pre。-paid。對于OpenAI來說，這種模式降低了壞賬率，增加了資金周轉的速度，在某些方面可以稍微減輕資金壓力。但對于應用API的企業(yè)來說，按照之前最長60天左右的賬期，相當于公司增加了60天的資金占用成本。OpenAI變相漲價。

在這一定價策略推出后不久，Llama3發(fā)布了中小型版本。一個可以類似于GPT-4，提高性能，在小計算率硬件下運行模型，甚至直接給閉源模型帶來一堆競爭對手。

優(yōu)秀的大規(guī)模開源模型為其他科研機構和目標更宏偉的商業(yè)機構提供了更好的技術參考路徑，可能會大大提高科研效率，縮短到達目標的時間。中小型模型確實是商業(yè)閉源模型的競爭對手。

企業(yè)看到了基于開源的中小型模型，自己擁有私人模型，保證數(shù)據(jù)安全，建立應用，上下游通吃，完成自我閉環(huán)的希望。

事實上，所有這些鏈條都可以在模型公司的平臺上一站式完成，這部分市場實際上被開源模型“無意”侵占了很多。

從競爭的角度來看，如果Meta采用閉源策略，OpenAI可能永遠無法在同一條跑道上顛覆成為領導者，而另辟蹊徑的開源策略，使Meta搶到了大型開源模型的頭把交椅，暫時占據(jù)了另一個生態(tài)王座。而且快速開源Grok模型馬斯克，也許暫時只是想給“Closed AI”和Sam 另一個競爭者是Altman制造的...

開源與閉源之爭的另一個焦點人物是“開源的堅決支持者”周鴻祎。 事實上，周鴻祎和李彥宏，兩人根本沒有對立的看法。 “我們要善用開源，利用開源，通過開源學習，快速提升人工智能的核心能力，”周鴻祎主要是從行業(yè)發(fā)展的宏觀方向來看。 ”他還補充了自己的想法，開源和閉源是兩種不同的商業(yè)模式，沒有必要互相抵制。 Android和iOS，Linux和Windows都是一個開源和一個閉源，他們都過得很好。 ”

從商業(yè)角度來看，360不是模型公司，模型也不是360的主要產(chǎn)品，這與百度有本質區(qū)別。目前，基于模型的AI瀏覽器和AI辦公家庭水桶已經(jīng)推出。開源生態(tài)越繁榮，企業(yè)的選擇就越多。

還有一些企業(yè)選擇了既開源又閉源的一體式兩翼方式，以開源切入大型賽道的百川智能，在發(fā)布Baichuan-7B之后，、Baichuan-在13B開源大模型之后，Baichuan-53B閉源大模型被拿出來。在Baichuan-53B新聞發(fā)布會的媒體交流會上，王小川被問及為什么沒有繼續(xù)開源。他回答說:“模型增加后，沒有這樣的開源方式，因為每個人的安排成本都會很高，所以我們可以使用閉源方式在網(wǎng)上調用API”。

"1.關于開閉源之爭，核心是看誰在開源。集成兩翼，是一線AGI創(chuàng)業(yè)公司唯一的解決辦法?！睋?jù)第一財經(jīng)報道，百川智能CEO王小川在行業(yè)微信群討論中發(fā)表了上述觀點?！皬腡o來看，王小川感覺，” 從B的角度來看，開源閉源實際上是需要的。未來80%的公司將使用大型開源模型。因為閉源不能更好的適應產(chǎn)品，或者成本很高，閉源可以給剩下的。 提供服務的20%。兩者并非競爭關系，而是不同產(chǎn)品之間的互補關系?！?/p>

開源與閉源，本來不是單選題，而是綜合應用題。如果你有足夠的資源和決心，你可以通過開源顯示技術水平，獲得更多的技術和數(shù)據(jù)反饋，創(chuàng)建開源生態(tài)。它還通過強大的閉源模型將其包裝成產(chǎn)品，直接實現(xiàn)商業(yè)化。

王小川還認為，與手機中的iOS或安卓操作系統(tǒng)不同，開源和閉源只能從兩者中選擇。開源真的很容易“建立人品”和“朋友多”，讓大家快速了解和評價大模型的質量。同時，開源也是為商業(yè)化做準備。如果用起來感覺不錯，可以在需要更好的服務和更多的參數(shù)的時候探索進一步的商業(yè)化路徑。

在開源與閉源的爭論背后，實際上是科技企業(yè)在模型時代開始認真思考的生態(tài)演變過程。

大型生態(tài)發(fā)展到底會如何演變？大型時代的開源，又會呈現(xiàn)出什么不同的特征？

本文來自微信微信官方賬號“騰訊科技”（ID:qqtech），作者：郭曉靜郝博陽，36氪經(jīng)授權發(fā)布。

本文僅代表作者觀點，版權歸原創(chuàng)者所有，如需轉載請在文中注明來源及作者名字。

免責聲明：本文系轉載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權或非授權發(fā)布，請及時與我們聯(lián)系進行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com