一夜醒來(lái)，大模型圈都在熱議一個(gè)詞——“GPU貧民”（GPU-Poor）。
 

來(lái)自行業(yè)分析機(jī)構(gòu)SemiAnalysis的一篇報(bào)告，爆料谷歌擁有的算力資源比OpenAI、Meta、亞馬遜、甲骨文和CoreWeave加起來(lái)還要多。

分析師Dylan Patel預(yù)測(cè)，谷歌DeepMind聯(lián)手的下一代大模型Gemini，到年底訓(xùn)練量將碾壓（Smash）GPT-4達(dá)到后者5倍。

報(bào)告提出在這種壓倒性的優(yōu)勢(shì)面前，大部分創(chuàng)業(yè)公司和開(kāi)源勢(shì)力都成了“GPU貧民”，在用有限的資源苦苦掙扎。

這個(gè)既扎眼又扎心的說(shuō)法迅速成為新梗，在行業(yè)里流傳開(kāi)來(lái)。

上次這么火的梗還是“沒(méi)有護(hù)城河”。巧了，也是同一位作者搞出來(lái)的，另外GPT-4內(nèi)部架構(gòu)細(xì)節(jié)大曝光也是他干的。

被點(diǎn)名的開(kāi)源扛把子HuggingFace聯(lián)合創(chuàng)始人Julien Chaumond表示：不要小看我們貧民啊。

也有人代表學(xué)生在線(xiàn)吐槽：金錢(qián)上窮，算力上也窮，說(shuō)的就是我們博士生了。

正致力于讓手機(jī)跑大模型的知名學(xué)者陳天奇表示，未來(lái)每個(gè)人都會(huì)擁有自己的AI助手，其中大多數(shù)人都會(huì)是“GPU貧民”，但不要低估合起來(lái)的總量。

也有不少人認(rèn)為，拋開(kāi)爭(zhēng)議性的內(nèi)容和大部分內(nèi)容收費(fèi)不談，這篇報(bào)告的免費(fèi)前言部分就是對(duì)大模型行業(yè)現(xiàn)狀的一個(gè)很好的批評(píng)和總結(jié)。

“GPU貧民”在做無(wú)用功
 

報(bào)告下筆很不留情，直言很多創(chuàng)業(yè)公司在GPU匱乏情況下花費(fèi)大量時(shí)間精力做的事，都是無(wú)用功。

比如很多人熱衷使用大模型的輸出微調(diào)小模型，然后去刷排行榜，但是評(píng)估方法不完善，更注重風(fēng)格而不是準(zhǔn)確性或?qū)嵱眯浴?/span>

報(bào)告還認(rèn)為各種測(cè)量標(biāo)準(zhǔn)不完善的排行榜本身，也是對(duì)小公司的誤導(dǎo)，由此產(chǎn)生一大批不實(shí)用的模型，對(duì)開(kāi)源運(yùn)動(dòng)也是一種傷害。

另一方面，GPU貧民們反而對(duì)資源的利用效率不高，大多使用密集模型，主要基于開(kāi)源的羊駝生態(tài)。

但是OpenAI谷歌這些巨頭已經(jīng)在玩MoE架構(gòu)這樣的稀疏模型，以及利用小模型投機(jī)采樣（speculative decoding）提高推理效率了，完全是兩個(gè)游戲。

作者希望GPU貧民們不應(yīng)該過(guò)度限制模型規(guī)模以及過(guò)度量化，而忽視模型質(zhì)量下降。應(yīng)該專(zhuān)注于在共享的基礎(chǔ)設(shè)施上高效地提供微調(diào)模型，減少延遲和內(nèi)存帶寬需求，滿(mǎn)足邊緣計(jì)算的需求。

看到這里，也有人提出不同意見(jiàn)，認(rèn)為創(chuàng)造性的突破往往正是來(lái)自有限制的環(huán)境，這反而是某種優(yōu)勢(shì)。

但Perplexity.AI聯(lián)合創(chuàng)始人Aravind Srinivas認(rèn)為，GPU豐富的組織實(shí)際也會(huì)投資于帶限制條件的研究。

并且要找到下一個(gè)像Transformer這樣的突破，需要成千上萬(wàn)次的實(shí)驗(yàn)，要求的資源絕對(duì)不低。

“GPU土豪”的游戲怎么玩
 

那么GPU平民的另一面，谷歌這個(gè)“GPU土豪”在做什么呢？

嚴(yán)格來(lái)說(shuō)，谷歌算力不是GPU而是自家TPU。報(bào)告認(rèn)為雖然TPUv5單體性能不如英偉達(dá)H100，但是谷歌有最高效的基礎(chǔ)設(shè)施架構(gòu)。

谷歌大腦與DeepMind合并后，聯(lián)手訓(xùn)練對(duì)標(biāo)GPT-4的Gemini大模型。

由前DeepMind兩位研究VP Koray Kavukcuoglu與Oriol Vinyals和前谷歌大腦掌門(mén)人Jeff Dean共同領(lǐng)導(dǎo)百人團(tuán)隊(duì)。

根據(jù)多方爆料，Gemini預(yù)計(jì)年內(nèi)就會(huì)發(fā)布，更準(zhǔn)確地說(shuō)是美國(guó)的秋季范圍之內(nèi)（9月23日-12月21日）。

Gemini將整合大模型與AI圖像生成的能力，使用Youtube上93.6億分鐘的視頻字幕訓(xùn)練，總數(shù)據(jù)集大小據(jù)估計(jì)是GPT-4的兩倍。

前DeepMind創(chuàng)始人Hassabis曾透露，Gemini將結(jié)合AlphaGo類(lèi)型系統(tǒng)的一些能力和“其他非常有趣的創(chuàng)新”。

另外谷歌創(chuàng)始人布林也一直在親自參與Gemini研發(fā)，包括對(duì)模型做評(píng)估并協(xié)助訓(xùn)練。

關(guān)于Gemini更具體的消息還不多，但是有人推測(cè)也將與GPT-4一樣使用MoE架構(gòu)和投機(jī)采樣技術(shù)。

8月初Google DeepMind發(fā)表的新論文From Sparse to Soft Mixtures of Experts被認(rèn)為可能與Gemini相關(guān)。

投機(jī)采樣能在不損失生成質(zhì)量的前提下，讓Transformer大模型獲得2-3倍的推理加速。

具體來(lái)說(shuō)是讓小模型生成提前生成一些token并讓大模型做評(píng)判，如果接受就讓大模型生成下一個(gè)token再重復(fù)第一步，如果小模型生成的質(zhì)量不高再換用大模型。

谷歌一方的投機(jī)采樣論文在2022年11月才發(fā)表，但之前的爆料認(rèn)為GPT-4也用了類(lèi)似的技術(shù)。

實(shí)際上投機(jī)采樣技術(shù)的前身Blockwise Parallel Decoding也來(lái)自谷歌，作者中包括Transformer作者中的Noam Shazeer。

Noam Shazeer這個(gè)人在谷歌時(shí)同時(shí)參與了Transformer、MoE和投機(jī)采樣的研究，對(duì)今天的大模型來(lái)說(shuō)都至關(guān)重要，另外他還參與了T5、LaMDA和PaLM等多個(gè)大模型研究。

SemiAnalysis的報(bào)告中還講了他的一個(gè)八卦。

早在GPT-2時(shí)代Noam Shazeer就在谷歌寫(xiě)了一份內(nèi)部備忘錄，預(yù)測(cè)了未來(lái)大模型將以各種方式融入人們的生活，但當(dāng)時(shí)這個(gè)觀點(diǎn)并未被谷歌重視。

現(xiàn)在看來(lái)，他預(yù)測(cè)的很多事都在ChatGPT發(fā)布后真實(shí)發(fā)生了。

不過(guò)Noam Shazeer在2021年就離開(kāi)谷歌創(chuàng)辦了Character.ai，按照這篇報(bào)告的說(shuō)法，他現(xiàn)在也是“GPU貧民”的一分子。

參考鏈接：

[1]https://www.semianalysis.com/p/google-gemini-eats-the-world-gemini

[2]https://x.com/dylan522p/status/1695956854344749234

[3]https://x.com/AravSrinivas/status/1696182301934395486

[4]https://arxiv.org/abs/2211.17192

本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請(qǐng)?jiān)谖闹凶⒚鱽?lái)源及作者名字。

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請(qǐng)及時(shí)與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com