大模型耗電驚人的輿論甚囂塵上，如今谷歌用硬核數(shù)據(jù)強(qiáng)勢回應(yīng)。一次Gemini查詢僅能耗0.24wh，相當(dāng)于微波爐運(yùn)行1秒，排放0.03 g CO?e，甚至比人放一次屁還少，同時消耗約5滴水。（文中數(shù)據(jù)均表示中位數(shù)）

谷歌首席科學(xué)家Jeff Dean公開表示，這個數(shù)值明顯低于公眾普遍預(yù)期的水平。

并且像谷歌這樣的大模型廠商，一直專注研究如何降低AI消耗。一年間，通過模型優(yōu)化和額外清潔能源的使用，Gemini的能耗降至原來的1/33，碳排放降至1/44，同時提供了更高質(zhì)量的響應(yīng)。

下面讓我們一起看看谷歌是如何衡量和減少AI能源消耗的？

如何衡量AI消耗能源

谷歌首先指出，目前許多關(guān)于AI能源消耗的計(jì)算反映的都是理論效率，而非大規(guī)模運(yùn)行下的實(shí)際效率。

若Gemini只考慮TPU和GPU的消耗，一次查詢只需消耗0.10wh，排放0.02 g CO?e，耗水量約0.12ml。但這種計(jì)算方式僅考慮了機(jī)器在運(yùn)行中的能耗，而忽略了一些關(guān)鍵因素。與此同時，Jeff Dean也表示，人們都在思考AI是否會消耗大量能源，它是否會通過碳排放來傷害地球。

所以，谷歌針對AI服務(wù)時的實(shí)際情況，開發(fā)了一套更為全面的方法來計(jì)算能源消耗，包括以下幾個部分：

全系統(tǒng)動態(tài)功率

這不僅包括主AI模型在計(jì)算過程中使用的能源和水，還考慮了大規(guī)模運(yùn)行下實(shí)際的芯片利用率，而該利用率往往遠(yuǎn)低于理論最大值。

空閑計(jì)算機(jī)

為確保高可用性和可靠性，生產(chǎn)系統(tǒng)需要一定程度的預(yù)置容量，該容量處于空閑狀態(tài)，但隨時可以處理流量高峰或故障轉(zhuǎn)移。這些閑置芯片消耗的能量必須計(jì)入總能源足跡。

CPU和內(nèi)存

AI模型的運(yùn)行不僅依賴TPU和GPU等機(jī)器學(xué)習(xí)加速器，主機(jī)的CPU和內(nèi)存同樣在提供服務(wù)和消耗能源方面起著關(guān)鍵作用。

數(shù)據(jù)中心開銷

運(yùn)行AI的信息技術(shù)設(shè)備所消耗的能源僅占整體能耗的一部分。支撐這些計(jì)算的基礎(chǔ)設(shè)施，如冷卻系統(tǒng)、配電系統(tǒng)以及其他數(shù)據(jù)中心開銷同樣會消耗能源。這部分開銷能源通常用電力使用效率（PUE）指標(biāo)來衡量。

數(shù)據(jù)中心用水量

為了降低能耗及相關(guān)排放，數(shù)據(jù)中心通常會使用水進(jìn)行冷卻。隨著優(yōu)化AI系統(tǒng)以提高能源效率，其整體用水量也會隨之自然減少。通過上述更全面的指標(biāo)，谷歌得出一次Gemini查詢的能耗為0.24wh，排放0.03 g CO?e，同時耗水量約5滴。

如此低的能耗，谷歌究竟是如何實(shí)現(xiàn)的？

為什么Gemini消耗這么低

谷歌表示，Gemini顯著的效率提升得益于其在AI開發(fā)中采取的全棧方法，從定制硬件、高效模型，到支撐這些模型運(yùn)行的強(qiáng)大服務(wù)系統(tǒng)，他們在每一層都融入了效率優(yōu)化。

首先是更高效的模型架構(gòu)，Gemini是谷歌研究人員開發(fā)的Transformer模型框架，相比之前的語言建模架構(gòu)，其效率可提升10倍到100倍。此外，他們還在模型設(shè)計(jì)中融入了像MoE和混合推理等機(jī)制，從而進(jìn)一步減少計(jì)算量和數(shù)據(jù)傳輸，提高整體運(yùn)行效率。與此同時，Gemini通過精準(zhǔn)量化訓(xùn)練（AQT）等方法不斷得到優(yōu)化，使模型在保證回答質(zhì)量的前提下進(jìn)一步降低了能源消耗。在優(yōu)化推理和服務(wù)上，谷歌不斷改進(jìn)AI的交付方式，以提升響應(yīng)速度和整體效率。比如通過推測解碼技術(shù)，較小的模型，較小的模型可以先進(jìn)行預(yù)測，再由較大的模型快速驗(yàn)證，從而用更少的芯片提供更多響應(yīng)。蒸餾技術(shù)則可以利用大型模型作為教師，生成用于服務(wù)的小型高效模型（如Gemini Flash和Flash-Lite）。不僅如此，為了減少能耗，谷歌在硬件上還采用定制化。十多年來，他們一直從零開始設(shè)計(jì)TPU，以最大化每瓦的性能。同時，他們還協(xié)同設(shè)計(jì)AI模型與TPU，確保軟件充分利用硬件潛力，硬件也能高效運(yùn)行未來的AI軟件。值得一提的是，最新一代TPU Ironwood的能效比首款公開TPU高30倍，在推理任務(wù)中遠(yuǎn)超通用CPU。

接下來，就是優(yōu)化空閑資源。谷歌的服務(wù)堆棧能夠高效利用CPU，并根據(jù)需求近乎實(shí)時地動態(tài)調(diào)度模型，從而最大化減少TPU的空閑時間，而不是采用“設(shè)置一次、永久運(yùn)行”的方式。同時，他們的XLA ML編譯器、Pallas內(nèi)核和Pathways系統(tǒng)，使得在JAX等高級系統(tǒng)中表達(dá)的模型計(jì)算能夠在TPU服務(wù)硬件上高效運(yùn)行。再，來看谷歌的超高效數(shù)據(jù)中心，其整體平均能源使用效率（PUE）可達(dá)1.09，為業(yè)界最高效的數(shù)據(jù)中心之一。最后在數(shù)據(jù)中心運(yùn)營方面，谷歌持續(xù)增加清潔能源的使用，以實(shí)現(xiàn)全天候無碳運(yùn)行的目標(biāo)，同時努力補(bǔ)充辦公室和數(shù)據(jù)中心平均消耗的120%淡水。此外，他們還優(yōu)化冷卻系統(tǒng)，通過科學(xué)的流域健康評估，平衡能源、水資源和排放之間的局部權(quán)衡，從而指導(dǎo)冷卻方式的選擇，并在水資源緊張地區(qū)限制用水量。

參考鏈接：

[1]https://x.com/JeffDean/status/1958525015722434945

[2]https://cloud.google.com/blog/products/infrastructure/measuring-the-environmental-impact-of-ai-inference/

本文來自微信公眾號“量子位”，作者：關(guān)注前沿科技，36氪經(jīng)授權(quán)發(fā)布。

本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請?jiān)谖闹凶⒚鱽碓醇白髡呙帧?/p>

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請及時與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com