最好的GPU煉大模型英偉達(dá)H100，全部賣(mài)空了！

即便是現(xiàn)在馬上買(mǎi)，也要等著。2024年Q1甚至Q2才能用上。

它是CoreWeave向華爾街日?qǐng)?bào)透露的最新動(dòng)態(tài)，與英偉達(dá)密切相關(guān)。

供應(yīng)從四月初開(kāi)始變得異常緊張。僅僅一個(gè)星期，預(yù)期交貨日期為從合理水平跳到年底。

 

世界上最大的云制造商亞馬遜AWS也證實(shí)了這一消息，CEO Adam 最近Selipsky說(shuō)：

A100和H100是最先進(jìn)的…即使對(duì)AWS來(lái)說(shuō)，也很難得到。。

 

早些時(shí)候，馬斯克還在一次采訪節(jié)目中說(shuō)：現(xiàn)在GPU比d品更難獲得。。

要是找“黃牛”買(mǎi)，溢價(jià)高達(dá)25%。

例如Ebay上的價(jià)格已經(jīng)從出廠價(jià)格約36000美元上漲到45000美金，而且供應(yīng)稀缺。

在這種情況下，國(guó)內(nèi)百度，字節(jié)，阿里，騰訊等待大型科技公司也向英偉達(dá)下臺(tái)總計(jì)50億美金芯片訂單，如A800。

這些商品中只有10億美元可以在今年內(nèi)交付，另外80%也要等到2024年。

那現(xiàn)在高檔GPU都賣(mài)給誰(shuí)了？這波產(chǎn)能又卡在哪里了？

H100賣(mài)給誰(shuí)，老黃說(shuō)了算。

自ChatGPT爆發(fā)以來(lái)，英偉達(dá)A100一直擅長(zhǎng)訓(xùn)練大模型。、H100成了熱門(mén)商品。

即使是H100也可以作為創(chuàng)業(yè)公司的一種資產(chǎn)，尋找投資基金來(lái)獲得抵押貸款。

OpenAI、以Meta為代表AI企業(yè)，以亞馬遜、微軟為代表的云計(jì)算公司，私人云Coreweave和Lambda，以及所有想要提煉自己大模型的人。各類科技公司，需求量極大。

不過(guò)賣(mài)給誰(shuí)，基本上是英偉達(dá)CEO黃仁勛說(shuō)了算。

據(jù)The H100如此緊缺，英偉達(dá)達(dá)，Information消息，將大量的新卡分配給CoreWeave，對(duì)于亞馬遜微軟等老牌云計(jì)算公司限量供應(yīng)。

(英偉達(dá)也直接投資了CoreWeave。)

外部分析是因?yàn)檫@些老牌企業(yè)正在開(kāi)發(fā)自己的AI來(lái)加速芯片，希望減少對(duì)英偉達(dá)的依賴，那么老黃也會(huì)滿足他們。

在英偉達(dá)內(nèi)部，老黃還控制了企業(yè)日常經(jīng)營(yíng)的各個(gè)方面，甚至包括審查銷售代表要對(duì)小潛在用戶說(shuō)些什么？。

全公司大約40名高管向老黃報(bào)告。，這個(gè)比Meta小扎和微軟小納的直接下屬加起來(lái)還要多。

一位英偉達(dá)前主管透露，“在英偉達(dá)，事實(shí)上，黃仁勛是每個(gè)產(chǎn)品的首席產(chǎn)品。?！?/p>

前陣子，還傳出老黃做了一件夸張的事情：要求一些小型云計(jì)算公司提供他們的客戶列表，想知道GPU的最終用戶是誰(shuí)。

外部分析，這一舉動(dòng)將使英偉達(dá)更好地了解客戶對(duì)其產(chǎn)品的需求，同時(shí)也引起了對(duì)英偉達(dá)利用這些信息獲取額外利益的焦慮。

還有人認(rèn)為，還有一個(gè)原因就是老黃想知道誰(shuí)真的在刷卡，而誰(shuí)只是囤卡不用。

為什么英偉達(dá)和老黃現(xiàn)在有這么大的話語(yǔ)權(quán)？

基于GPU的GPU供需過(guò)于不平衡， 計(jì)算Utils網(wǎng)站，H100有43萬(wàn)個(gè)缺口。

Clay作者 根據(jù)各種已知信息和傳聞，Pascal估計(jì)近期AI行業(yè)的H100參與者數(shù)量。

AI企業(yè)方面：

GPT-55,000可能需要50,000的H100來(lái)訓(xùn)練GPT-5

據(jù)說(shuō)Meta需要10萬(wàn)元

已經(jīng)公布了InflectionAI的22,000卡算率集群計(jì)劃

Anthropic等主要AI創(chuàng)業(yè)公司、Character.ai、MistraAI和HelsingAI在歐洲的需求是10,000。

云計(jì)算公司方面：

大型公共云中，亞馬遜、微軟、谷歌、甲骨文均按3萬(wàn)計(jì)算，共計(jì)12萬(wàn)。

以CoreWeave和Lambda為代表的私有云總共需要10萬(wàn)元

加起來(lái)就是43.2萬(wàn)。

這個(gè)還沒(méi)有算上摩根大通，Two Sigma等金融公司和其他行業(yè)的參與者也在逐步部署自己的計(jì)算集群。

問(wèn)題來(lái)了，這么大的供應(yīng)缺口，難道不能多生產(chǎn)點(diǎn)嗎？

老黃也想啊，可是生產(chǎn)能力被卡住。

這次產(chǎn)能卡在哪里？

事實(shí)上，臺(tái)積電已經(jīng)調(diào)整了英偉達(dá)的生產(chǎn)計(jì)劃。

但仍然無(wú)法填補(bǔ)這樣一個(gè)巨大的缺口。

Charlierlieie英偉達(dá)DGX系統(tǒng)副總裁兼總經(jīng)理 Boyle說(shuō)，這次不要卡在晶圓里，而是臺(tái)積電CoWoS封裝技術(shù)生產(chǎn)能力遇到瓶頸。

正是蘋(píng)果與英偉達(dá)搶臺(tái)積電產(chǎn)能，要在9月份的新聞發(fā)布會(huì)前完成下一代iPhone所需的A17芯片。

而且臺(tái)積電方面最近表示，預(yù)計(jì)需要1.5年才能使封裝工藝積壓恢復(fù)正常。

CoWoS封裝技術(shù)是臺(tái)積電的看家本領(lǐng)，臺(tái)積電之所以能夠戰(zhàn)勝三星成為蘋(píng)果的獨(dú)家芯片代工廠。

該技術(shù)包裝的產(chǎn)品特性高，可靠性強(qiáng)，H100可以擁有3TB/s帶寬(甚至更多)正是由于這個(gè)原因。

CoWoS的全名是Chip-on-Wafer-on-Substrate，是一種從晶圓角度來(lái)看芯片集成技術(shù)。

該技術(shù)可將多個(gè)芯片封裝到多個(gè)芯片中薄厚僅有100μm硅中介層上。

根據(jù)介紹，下一代中介層面積將達(dá)到6倍reticle，即大約5000毫米。2。

到目前為止，除了臺(tái)積電，沒(méi)有一家廠商有這種級(jí)別的封裝能力。

雖然CoWoS的確很強(qiáng)大，但是沒(méi)有它就不行嗎？其它廠家可以代工嗎？

先不說(shuō)老黃已經(jīng)說(shuō)過(guò)“不顧新增第二家H100代工廠”。

就現(xiàn)實(shí)而言，也許真的不行。

在此之前，英偉達(dá)與三星合作過(guò)，但是后者從來(lái)沒(méi)有為英偉達(dá)生產(chǎn)過(guò)H100系列產(chǎn)品，甚至是其它5nm工藝芯片。

因此，三星的技術(shù)水平可能無(wú)法滿足英偉達(dá)對(duì)尖端GPU的技術(shù)要求。

對(duì)英特爾來(lái)說(shuō)...他們的5nm商品似乎還沒(méi)有出現(xiàn)。

因?yàn)樽尷宵S換廠家不行，那么客戶直接改用AMD怎么樣？

AMD，Yes？

假如單論性能的話，AMD的確是慢慢追上來(lái)的。

最新推出的MI300XAMD，HBM3內(nèi)存192GB，5.2.TB帶寬/s，可運(yùn)行800億參數(shù)模型。

DGXX剛剛在英偉達(dá)發(fā)布。 HBM3e，GH200，內(nèi)存141GB，帶寬5TB//s。

但是，這并不意味著AMD可以立即填補(bǔ)N卡空缺?！?/p>

在CUDA平臺(tái)上，英偉達(dá)真正的“環(huán)城河”。

CUDA建立了一套完整的開(kāi)發(fā)生態(tài)系統(tǒng)，這意味著顧客在購(gòu)買(mǎi)AMD商品時(shí)需要更長(zhǎng)的時(shí)間來(lái)調(diào)整。

某私有云企業(yè)的一位高管表示，沒(méi)有人敢冒險(xiǎn)花費(fèi)3億美元進(jìn)行測(cè)試，安排1萬(wàn)個(gè)AMD。 GPU。

這位高管認(rèn)為，開(kāi)發(fā)調(diào)整周期可能至少需要兩個(gè)月。

對(duì)于任何一家廠商來(lái)說(shuō)，在AI商品快速升級(jí)的大環(huán)境下，兩個(gè)月的空檔期都是致命的。

但微軟卻向AMD伸出了橄欖葉。

以前有傳言說(shuō) ，AI芯片由微軟和AMD聯(lián)合開(kāi)發(fā)，代號(hào)為“雅典娜”。

而且早些時(shí)候，MI200發(fā)布的時(shí)候，微軟首次宣布采購(gòu)，并在其云平臺(tái)Azure上部署。

舉例來(lái)說(shuō)，前陣MSRA的新型系統(tǒng)架構(gòu)RetNet就是512個(gè)AMDD MI200訓(xùn)練有素。

在英偉達(dá)幾乎占據(jù)了整個(gè)AI市場(chǎng)的情況下，人們可能需要帶頭沖鋒。只有在整個(gè)大型AMD計(jì)算率集群打樣之前，人們才有勇氣跟進(jìn)。

然而，在短時(shí)間內(nèi)，英偉達(dá)H100、A100仍然是最主流的選擇。

One More Thing

前陣子蘋(píng)果發(fā)布了192GB內(nèi)存最高支持。新款M2 Ultra芯片此時(shí)，還有不少?gòu)臉I(yè)者享受著用它來(lái)微調(diào)大模型。

歸根結(jié)底，蘋(píng)果M系列芯片的內(nèi)存存儲(chǔ)是統(tǒng)一的，192GB內(nèi)存就是192GB顯存。，但是80GB 2.4倍的H100，或24GB 8倍于RTX4090。

但是，在有人真正購(gòu)買(mǎi)了這臺(tái)機(jī)器之后，實(shí)際測(cè)試訓(xùn)練速度。還不如英偉達(dá)RTX3080TI0，微調(diào)不劃算，訓(xùn)練就更不用說(shuō)了。

歸根結(jié)底，M系列芯片計(jì)算率部分并非專門(mén)針對(duì)AI計(jì)算進(jìn)行優(yōu)化，光大顯存也沒(méi)有用。

煉制模型，看起來(lái)主要還是要靠H100，而H100又要求。

面臨這樣的情況，網(wǎng)絡(luò)上甚至流傳著一首歌。神奇的“GPU之歌”。

非常洗腦，謹(jǐn)慎進(jìn)入。

GPU之歌本家 https://www.youtube.com/watch?v=YGpnXANXGUg

 

參考鏈接：

[1]https://www.barrons.com/articles/nvidia-ai-chips-coreweave-cloud-6db44825

[2]https://www.ft.com/content156-4870-4ca4-b67d-bb5a285d855ca4-9dfee

[3]https://www.theinformation.com/articles/in-an-unusual-move-nvidia-wants-to-know-its-customers-customers

[4]https://www.theinformation.com/articles/ceo-jensen-huang-runs-nvidia-with-a-strong-hand

[5]https://gpus.llm-utils.org/nvidia-h100-gpus-supply-and-demand/#which-gpus-do-people-need

[6]https://3dfabric.tsmc.com/english/dedicatedFoundry/technology/cowos.htm

[7]https://developer.nvidia.com/blog/cuda-10-features-revealed/

[8]https://www.theverge.com/2023/5/5/23712242/microsoft-amd-ai-processor-chip-nvidia-gpu-athena-mi300

[9]https://www.amd.com/en/press-releases/2022-05-26-amd-instinct-mi200-adopted-for-large-scale-ai-training-microsoft-azure

本文來(lái)自微信微信官方賬號(hào)“量子位”（ID:QbitAI），作者：夢(mèng)晨 經(jīng)授權(quán)發(fā)布的克雷西36氪。

本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請(qǐng)?jiān)谖闹凶⒚鱽?lái)源及作者名字。

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請(qǐng)及時(shí)與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com