一次Gemini查詢僅能耗0.24wh

大模型耗電驚人，輿論一浪高過(guò)一浪。

現(xiàn)在，谷歌用硬核數(shù)據(jù)強(qiáng)勢(shì)還擊。

一次Gemini查詢僅能耗0.24wh，相當(dāng)于微波爐運(yùn)行1秒，排放0.03 g CO?e，甚至比人放一次屁還少，同時(shí)消耗約5滴水。

（文中數(shù)據(jù)均表示中位數(shù)）

谷歌首席科學(xué)家Jeff Dean公開(kāi)表示：

這個(gè)數(shù)值明顯低于公眾普遍預(yù)期的水平。

 

并且像谷歌這樣的大模型廠商，一直專注研究如何降低AI消耗。

一年間，通過(guò)模型優(yōu)化和額外清潔能源的使用，Gemini的能耗降至原來(lái)的1/33，碳排放降至1/44，同時(shí)提供了更高質(zhì)量的響應(yīng)。

下面讓我們一起看看谷歌是如何衡量和減少AI能源消耗的？

如何衡量AI消耗能源

谷歌首先指出，目前許多關(guān)于AI能源消耗的計(jì)算反映的都是理論效率，而非大規(guī)模運(yùn)行下的實(shí)際效率。

若Gemini只考慮TPU和GPU的消耗，一次查詢只需消耗0.10wh，排放0.02 g CO?e，耗水量約0.12ml。

但這種計(jì)算方式僅考慮了機(jī)器在運(yùn)行中的能耗，而忽略了一些關(guān)鍵因素。

與此同時(shí)，Jeff Dean也表示：

人們都在思考AI是否會(huì)消耗大量能源？它是否會(huì)通過(guò)碳排放來(lái)傷害地球？

 

所以，谷歌針對(duì)AI服務(wù)時(shí)的實(shí)際情況，開(kāi)發(fā)了一套更為全面的方法來(lái)計(jì)算能源消耗，包括以下幾個(gè)部分：

全系統(tǒng)動(dòng)態(tài)功率

這不僅包括主AI模型在計(jì)算過(guò)程中使用的能源和水，還考慮了大規(guī)模運(yùn)行下實(shí)際的芯片利用率，而該利用率往往遠(yuǎn)低于理論最大值。

空閑計(jì)算機(jī)

為確保高可用性和可靠性，生產(chǎn)系統(tǒng)需要一定程度的預(yù)置容量，該容量處于空閑狀態(tài)，但隨時(shí)可以處理流量高峰或故障轉(zhuǎn)移。這些閑置芯片消耗的能量必須計(jì)入總能源足跡。

CPU和內(nèi)存

AI模型的運(yùn)行不僅依賴TPU和GPU等機(jī)器學(xué)習(xí)加速器，主機(jī)的CPU和內(nèi)存同樣在提供服務(wù)和消耗能源方面起著關(guān)鍵作用。

數(shù)據(jù)中心開(kāi)銷

運(yùn)行AI的信息技術(shù)設(shè)備所消耗的能源僅占整體能耗的一部分。支撐這些計(jì)算的基礎(chǔ)設(shè)施，如冷卻系統(tǒng)、配電系統(tǒng)以及其他數(shù)據(jù)中心開(kāi)銷同樣會(huì)消耗能源。這部分開(kāi)銷能源通常用電力使用效率（PUE）指標(biāo)來(lái)衡量。

數(shù)據(jù)中心用水量

為了降低能耗及相關(guān)排放，數(shù)據(jù)中心通常會(huì)使用水進(jìn)行冷卻。隨著優(yōu)化AI系統(tǒng)以提高能源效率，其整體用水量也會(huì)隨之自然減少。

通過(guò)上述更全面的指標(biāo)，谷歌得出一次Gemini查詢的能耗為0.24wh，排放0.03 g CO?e，同時(shí)耗水量約5滴。

如此低的能耗，谷歌究竟是如何實(shí)現(xiàn)的？

為什么Gemini消耗這么低

谷歌表示，Gemin顯著的效率提升得益于其在AI開(kāi)發(fā)中采取的全棧方法，從定制硬件、高效模型，到支撐這些模型運(yùn)行的強(qiáng)大服務(wù)系統(tǒng)，他們?cè)诿恳粚佣既谌肓诵蕛?yōu)化。

首先是更高效的模型架構(gòu)，Gemini是谷歌研究人員開(kāi)發(fā)的Transformer模型框架，相比之前的語(yǔ)言建模架構(gòu)，其效率可提升10倍到100倍。

此外，他們還在模型設(shè)計(jì)中融入了像MoE和混合推理等機(jī)制，從而進(jìn)一步減少計(jì)算量和數(shù)據(jù)傳輸，提高整體運(yùn)行效率。

與此同時(shí)，Gemini通過(guò)精準(zhǔn)量化訓(xùn)練（AQT）等方法不斷得到優(yōu)化，使模型在保證回答質(zhì)量的前提下進(jìn)一步降低了能源消耗。

在優(yōu)化推理和服務(wù)上，谷歌不斷改進(jìn)AI的交付方式，以提升響應(yīng)速度和整體效率。

比如通過(guò)推測(cè)解碼技術(shù)，較小的模型可以先進(jìn)行預(yù)測(cè)，再由較大的模型快速驗(yàn)證，從而用更少的芯片提供更多響應(yīng)。

蒸餾技術(shù)則可以利用大型模型作為教師，生成用于服務(wù)的小型高效模型（如Gemini Flash和Flash-Lite）。

不僅如此，為了減少能耗，谷歌在硬件上還采用定制化。

十多年來(lái)，他們一直從零開(kāi)始設(shè)計(jì)TPU，以最大化每瓦的性能。同時(shí)，他們還協(xié)同設(shè)計(jì)AI模型與TPU，確保軟件充分利用硬件潛力，硬件也能高效運(yùn)行未來(lái)的AI軟件。

值得一提的是，最新一代TPU Ironwood的能效比首款公開(kāi)TPU高30倍，在推理任務(wù)中遠(yuǎn)超通用CPU。

接下來(lái)，就是優(yōu)化空閑資源。谷歌的服務(wù)堆棧能夠高效利用CPU，并根據(jù)需求近乎實(shí)時(shí)地動(dòng)態(tài)調(diào)度模型，從而最大化減少TPU的空閑時(shí)間，而不是采用“設(shè)置一次、永久運(yùn)行”的方式。

同時(shí)，他們的XLA ML編譯器、Pallas內(nèi)核和Pathways系統(tǒng)，使得在JAX等高級(jí)系統(tǒng)中表達(dá)的模型計(jì)算能夠在TPU服務(wù)硬件上高效運(yùn)行。

再來(lái)看谷歌的超高效數(shù)據(jù)中心，其整體平均能源使用效率（PUE）可達(dá)1.09，為業(yè)界最高效的數(shù)據(jù)中心之一。

最后在數(shù)據(jù)中心運(yùn)營(yíng)方面，谷歌持續(xù)增加清潔能源的使用，以實(shí)現(xiàn)全天候無(wú)碳運(yùn)行的目標(biāo)，同時(shí)努力補(bǔ)充辦公室和數(shù)據(jù)中心平均消耗的120%淡水。

此外，他們還優(yōu)化冷卻系統(tǒng)，通過(guò)科學(xué)的流域健康評(píng)估，平衡能源、水資源和排放之間的局部權(quán)衡，從而指導(dǎo)冷卻方式的選擇，并在水資源緊張地區(qū)限制用水量。

本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請(qǐng)?jiān)谖闹凶⒚鱽?lái)源及作者名字。

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請(qǐng)及時(shí)與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com