蘋果WWDC今天早晨驗(yàn)證了一點(diǎn)：AI推理算率將長(zhǎng)期處于“云為主”的狀態(tài)，這一“長(zhǎng)期”至少需要三到五年的時(shí)間。是的，蘋果與OpenAI建立了戰(zhàn)略合作，計(jì)劃將下一代iOS系統(tǒng)與ChatGPT緊密結(jié)合；然而，包括文字和圖片生成任務(wù)在內(nèi)的大多數(shù)生成式AI推理仍將上傳到ChatGPT數(shù)據(jù)中心，并在云端完成。OpenAI在公告中已經(jīng)明確表示了這一點(diǎn)。蘋果的“終端AI”仍然局限于軟件。

假如連蘋果都做不到推理算力的“端側(cè)化”，那其它手機(jī)廠商就更做不到了。PC端的進(jìn)度可能比移動(dòng)端稍微好一點(diǎn)，但在可預(yù)見的未來(lái)，大多數(shù)AI PC(包括桌面工作站)仍將以英偉達(dá)的桌面級(jí)顯卡為基礎(chǔ)，并且只能實(shí)施參數(shù)相對(duì)較小的大模型推理(蒸餾后)。大型模型和應(yīng)用開發(fā)商無(wú)論從技術(shù)角度還是成本角度，都會(huì)更愿意完成云即數(shù)據(jù)中心的大部分推理任務(wù)。金融業(yè)再一次意識(shí)到這一點(diǎn)，所以WWDC舉行后，蘋果股價(jià)下跌，而英偉達(dá)股價(jià)小幅上漲。

在未來(lái)很長(zhǎng)一段時(shí)間內(nèi)，我們不必過(guò)多考慮“端計(jì)算率”。在這種情況下，國(guó)內(nèi)人工智能計(jì)算率的短缺是不可能通過(guò)開發(fā)所謂的“端計(jì)算率”來(lái)處理的。自2022年11月底ChatGPT問(wèn)世以來(lái)，國(guó)內(nèi)人工智能計(jì)算率幾乎一直供不應(yīng)求，這是由以下因素決定的:

全球AI算率非常短缺，尤其是在生產(chǎn)端，英偉達(dá)H系列顯卡只能由臺(tái)積電代工(三星不能)，產(chǎn)能瓶頸將持續(xù)到很多年。

特別是在2023年下半年全面加強(qiáng)后，美國(guó)芯片出口禁令日益嚴(yán)格，許多“側(cè)門”被堵塞，國(guó)內(nèi)廠商采購(gòu)數(shù)據(jù)中心級(jí)顯卡的難度與日俱增。

眾所周知，AI大模型所需的計(jì)算率可以分為練習(xí)和推理兩種，前者的要求更高；目前國(guó)內(nèi)的情況是兩種算率都不足。具有諷刺意味的是，在過(guò)去幾年中國(guó)云游戲的發(fā)展中，互聯(lián)網(wǎng)制造商和通信運(yùn)營(yíng)商都購(gòu)買了一批英偉達(dá)Turing架構(gòu)的顯卡來(lái)建造RTX刀片服務(wù)器，這些顯卡可以用于AI推理；如果沒有云游戲，中國(guó)推理計(jì)算能力的瓶頸會(huì)更嚴(yán)重。中國(guó)游戲產(chǎn)業(yè)是一個(gè)勤勞的背鍋產(chǎn)業(yè)。任何人都可以踩一腳，任何人都可以污名化，但拯救所謂的“硬科技”產(chǎn)業(yè)就靠它了！

即便如此，國(guó)內(nèi)AI推理計(jì)算能力的供求關(guān)系仍然十分緊張。所以，在過(guò)去的一個(gè)月里，國(guó)內(nèi)大模型的“降價(jià)”措施，很大程度上只是一種行為藝術(shù)。尤其是對(duì)于B端客戶來(lái)說(shuō)，無(wú)論大型API的調(diào)用價(jià)格降到多低，關(guān)鍵在于能否買到數(shù)量。今天的問(wèn)題是“供不應(yīng)求”：只有極小規(guī)模的采購(gòu)才能以“出版價(jià)格”執(zhí)行，稍微大一點(diǎn)的采購(gòu)一定要找銷售人員獨(dú)立協(xié)商排隊(duì)，實(shí)際成交價(jià)格難以預(yù)測(cè)(肯定比“出版價(jià)格”高很多)。

更不用說(shuō)B端用戶了，即使是C端用戶也能感受到推理計(jì)算能力的緊張:在國(guó)內(nèi)幾款最受歡迎的AI大型應(yīng)用中，免費(fèi)用戶在高峰期幾乎肯定會(huì)遇到需要排隊(duì)的情況，為了提高效益，必須充值或獎(jiǎng)勵(lì)。要知道，目前國(guó)內(nèi)主流生成AI應(yīng)用的DAU一般只有幾百萬(wàn)個(gè)數(shù)量級(jí)，推理率已經(jīng)這么匱乏；如果AI超級(jí)應(yīng)用真的超過(guò)1億DAU，計(jì)算率幾乎跟不上——所以這樣的超級(jí)應(yīng)用目前在中國(guó)是不可能出現(xiàn)的。(注:文心一言和通義千問(wèn)都聲稱累計(jì)客戶超過(guò)1億，API日調(diào)用次數(shù)超過(guò)1億，但距離1億DAU還有很長(zhǎng)的路要走；估計(jì)豆包差遠(yuǎn)了。）

不難想像，訓(xùn)練算率比推理要求更高，更緊缺。字節(jié)跳動(dòng)于2024年2月在一篇論文中公布了其前一年9月成立的“萬(wàn)卡集群”。遺憾的是，它由12,000張(相對(duì)落后)A100顯卡組成，而美國(guó)科技巨頭早已更換了由(更先進(jìn))H100組成的“萬(wàn)卡集群”，例如Meta的LLaMA-3就是由25,000張H100組成的集群訓(xùn)練；以亞馬遜為代表的大型云計(jì)算公司正積極轉(zhuǎn)向(更先進(jìn))B100和GB200計(jì)算率集群。A系列顯卡于2020年發(fā)布。當(dāng)時(shí)芯片禁令還沒有發(fā)布，國(guó)內(nèi)采購(gòu)也沒有太大障礙。H系列于2022年發(fā)布，芯片禁令已經(jīng)發(fā)布，但在中國(guó)仍然可以通過(guò)購(gòu)買“特別版”(主要是H800)來(lái)繞過(guò)；B系列于2024年發(fā)布，此時(shí)繞過(guò)芯片禁令的方式已經(jīng)非常狹窄，朝不保夕。

長(zhǎng)期而嚴(yán)重的計(jì)算率瓶頸對(duì)國(guó)內(nèi)AI行業(yè)產(chǎn)生了兩個(gè)深遠(yuǎn)的影響。首先，計(jì)算率短缺意味著計(jì)算率高(無(wú)論是自購(gòu)顯卡還是租賃)。國(guó)內(nèi)所有大型廠商的售價(jià)都不能覆蓋培訓(xùn) 推理費(fèi)用，有些甚至不能覆蓋邊際推理費(fèi)用，賣一單虧一單(最近一波降價(jià)后可能虧的比較嚴(yán)重)。其次，國(guó)內(nèi)大部分計(jì)算率都集中在少數(shù)科技廠商手中，初創(chuàng)公司高度依賴他們，非常渴望他們以計(jì)算能力的方式投資股票。結(jié)論是，大規(guī)模創(chuàng)業(yè)在中國(guó)是一項(xiàng)非常糟糕的業(yè)務(wù)，遠(yuǎn)不如以前的移動(dòng)互聯(lián)網(wǎng)創(chuàng)業(yè)。

接下來(lái)，我們不妨通過(guò)問(wèn)答進(jìn)一步說(shuō)明中國(guó)AI計(jì)算能力的現(xiàn)狀。問(wèn)題是市場(chǎng)上最關(guān)心的問(wèn)題。答案不是來(lái)自我，而是來(lái)自我在云計(jì)算和AI行業(yè)的信任朋友。我只是總結(jié)了他們的答案。

問(wèn)題：目前我國(guó)AI算率儲(chǔ)備和分布情況大致如何？

答：首先講一下訓(xùn)練中使用的“大卡”。如果將A100-800、如果H100-800都算作“大卡”，那么國(guó)內(nèi)的“大卡”儲(chǔ)備肯定會(huì)超過(guò)6位數(shù)，甚至超過(guò)20萬(wàn)張。問(wèn)題在于，隨著技術(shù)的進(jìn)步，A系列很難再被視為“大卡”。按照扎克伯格所謂的“H100等效率”，國(guó)內(nèi)儲(chǔ)備肯定不會(huì)超過(guò)6位數(shù)，而僅Meta家族的“H100等效率”就已超過(guò)30萬(wàn)張，到2024年底將超過(guò)65萬(wàn)張，遠(yuǎn)遠(yuǎn)超過(guò)國(guó)內(nèi)所有大型工廠的算率儲(chǔ)備之和。

具體到算率分布，有兩個(gè)標(biāo)準(zhǔn)：一是“把握算率”，二是“可調(diào)用算率”。像阿里這樣的云計(jì)算廠掌握了巨大的計(jì)算率，但大部分都要租給客戶。自己的大模型訓(xùn)練和推理可以調(diào)用的計(jì)算率可能沒有很大的優(yōu)勢(shì)。若只計(jì)算“把握算率”，國(guó)內(nèi)第一的無(wú)疑是阿里，其次是百度、字節(jié)跳動(dòng)，騰訊可能會(huì)少一些。由于內(nèi)容推薦系統(tǒng)、自動(dòng)駕駛訓(xùn)練等環(huán)節(jié)都需要掌握一兩千張開卡互聯(lián)網(wǎng)企業(yè)。

推理能力的分布就更復(fù)雜了。如上所述，云游戲中使用的顯卡可以承擔(dān)一定的推理任務(wù)。目前，中國(guó)的推理率可能很大一部分來(lái)自之前的云游戲。

問(wèn)題：如何看待AI算力的國(guó)產(chǎn)替代？

答：即使一些國(guó)產(chǎn)顯卡聲稱自己的性能參數(shù)可以達(dá)到A100水平，他們也不具備NVlink互聯(lián)技術(shù)和CUDA開發(fā)環(huán)境，從而不能承擔(dān)大型模型訓(xùn)練任務(wù)。另外，A100是英偉達(dá)2020年發(fā)布的產(chǎn)品，在2024年“追上”前者四年前的水平并不創(chuàng)新。大型不是核彈，它是一種注重性價(jià)比的民用商品，使用非主流硬件開發(fā)出來(lái)的大型可能沒有商業(yè)價(jià)值。

但在推理端，并非完全不可能，因?yàn)橥评砜▽?duì)NVlink和CUDA的依賴程度很小。在推理端，英偉達(dá)的城墻仍然很高，但比訓(xùn)練端差得多。問(wèn)題在于，推理計(jì)算能力的技術(shù)路線也在不斷變化，技術(shù)變革的領(lǐng)導(dǎo)者仍然是英偉達(dá)。如果有選擇的話，主流廠商肯定會(huì)愿意購(gòu)買英偉達(dá)的推理解決方案。國(guó)內(nèi)廠商的問(wèn)題是在芯片禁令下沒有選擇，在推理端進(jìn)行國(guó)產(chǎn)替代總比沒有強(qiáng)。

問(wèn)題：如何看待Groq和國(guó)內(nèi)一些廠商推出的“遠(yuǎn)超英偉達(dá)”推理卡？

答：在高度特化的技術(shù)路線下，確實(shí)有可能制作出遠(yuǎn)超英偉達(dá)同期產(chǎn)品的表面技術(shù)推理卡——但代價(jià)是應(yīng)用領(lǐng)域非常狹窄。這種顯卡不僅僅是一種大型推理，甚至可能只是一種特定類型的推理。大型工廠建立數(shù)據(jù)中心應(yīng)考慮實(shí)用性和后續(xù)升級(jí)要求，高度特化的顯卡無(wú)法滿足這些要求。如上所述，云游戲中使用的顯卡可用于推理，但是高度特化的推理卡能否執(zhí)行圖形渲染任務(wù)？能否執(zhí)行自動(dòng)駕駛等非生成式推理任務(wù)？

而且，在硅谷，那些不缺錢的大工廠，同時(shí)執(zhí)行“大卡”練習(xí)和推理任務(wù)是很流行的:速度更快，更靈活，管理更方便。你的訓(xùn)練任務(wù)一年四季都沒有平均分布。也許這三個(gè)月訓(xùn)練消耗的算率更高。接下來(lái)，推理消耗的算率更高。統(tǒng)一建立“大卡”集群有利于提高靈活性。這樣做當(dāng)然不夠經(jīng)濟(jì)，所以推理任務(wù)主要還是要靠推理卡來(lái)執(zhí)行。只想說(shuō)，英偉達(dá)在練習(xí)端和推理端的環(huán)城河是相輔相成的，并非相互孤立。

問(wèn)題：有沒有可能繞過(guò)芯片禁令？現(xiàn)在每個(gè)人的替代方案是什么？

答：很多人認(rèn)為芯片禁令可以以“異?！钡姆绞嚼@過(guò)。但他們忽略了兩點(diǎn):一是英偉達(dá)高端顯卡近年來(lái)供不應(yīng)求，因此沒有巨大的二手和散貨市場(chǎng)。即使是海外廠商淘汰的顯卡，一般也是內(nèi)部余熱。第二，即使你能繞過(guò)英偉達(dá)的官方銷售獲得一些顯卡，你也無(wú)法獲得技術(shù)支持。

H系列和B系列訓(xùn)練卡并非單片銷售，而是基于服務(wù)器(訓(xùn)練機(jī))銷售。B系列訓(xùn)練機(jī)已經(jīng)非常像高端數(shù)控機(jī)床這樣的高科技設(shè)備，可以將其位置判斷系統(tǒng)植入內(nèi)部，發(fā)現(xiàn)位置偏移后可以自動(dòng)停止。因此，無(wú)論在理論上還是在實(shí)踐中，只要英偉達(dá)愿意認(rèn)真執(zhí)行芯片禁令，就很難繞開。雖然英偉達(dá)肯定愿意賣出更多的客戶，開拓中國(guó)市場(chǎng)，但它的顯卡總之賣不出去，短期內(nèi)不可能主動(dòng)承擔(dān)破壞禁令的風(fēng)險(xiǎn)。

當(dāng)然，一切都可以討論。只要雙方都想認(rèn)真做生意，拿出一些物品進(jìn)行交換，沒有什么生意是做不到的。這取決于每個(gè)人都有多愿意做生意！我們不能低估解決問(wèn)題的難度——因?yàn)橹挥谐浞止烙?jì)難度，才能從現(xiàn)實(shí)的角度解決問(wèn)題。不建議單方面低估難度，假裝處理問(wèn)題。我相信真正的從業(yè)者不會(huì)這么做。

本文來(lái)自微信微信官方賬號(hào)“互聯(lián)網(wǎng)怪盜團(tuán)”（ID：TMTphantom），作者：裴培，怪盜團(tuán)團(tuán)長(zhǎng)，36氪經(jīng)授權(quán)發(fā)布。

本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請(qǐng)?jiān)谖闹凶⒚鱽?lái)源及作者名字。

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請(qǐng)及時(shí)與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com