繼HBM后,英偉達(dá)再帶火AI內(nèi)存模組SOCAMM,重塑AI服務(wù)器與PC格局
電子發(fā)燒友網(wǎng)綜合報道,據(jù)韓媒消息,下一代低功耗內(nèi)存模塊“SOCAMM”市場已全面開啟。AI領(lǐng)域的領(lǐng)軍企業(yè)英偉達(dá),計劃今年為其AI產(chǎn)品部署60至80萬個SOCAMM內(nèi)存模塊,這些模塊不僅會用于數(shù)據(jù)中心AI服務(wù)器,還有望應(yīng)用于PC,這一舉動將對內(nèi)存市場及相關(guān)產(chǎn)業(yè)鏈產(chǎn)生深遠(yuǎn)影響。
SOCAMM全稱為Small Outline Compression Attached Memory Module,即小型化壓縮附加內(nèi)存模組,是英偉達(dá)主導(dǎo)研發(fā)的新型內(nèi)存模塊,是適用于數(shù)據(jù)中心AI服務(wù)器的高性能、低功耗內(nèi)存。
它把低功耗DRAM與壓縮連接內(nèi)存模塊(CAMM)搭配使用,以全新外形尺寸實現(xiàn)卓越性能和高能效?;贚PDDR5X芯片,采用694個I/O端口,帶寬可達(dá)傳統(tǒng)DDR5的2.5倍。
物理形態(tài)上,SOCAMM尺寸僅14×90毫米,形似U盤,比傳統(tǒng)RDIMM體積減少66%,為更緊湊、高效的服務(wù)器設(shè)計提供了可能。它采用可拆卸的模塊化插拔結(jié)構(gòu),改變了以往LPDDR內(nèi)存須焊接在主板上的限制,用戶能像更換硬盤或SSD一樣方便地升級或替換內(nèi)存,大大提升了系統(tǒng)的靈活性和可維護(hù)性。
SOCAMM采用引線鍵合和銅互連技術(shù),每個模塊連接16個DRAM芯片,這種銅基結(jié)構(gòu)增強(qiáng)了散熱性能,對AI系統(tǒng)的性能和可靠性至關(guān)重要。同時,基于成熟封裝工藝,它降低了部署門檻和制造難度,具備更強(qiáng)的成本控制能力和更廣泛的適用范圍。
得益于LPDDR5X的低電壓設(shè)計和優(yōu)化后的封裝工藝,SOCAMM使服務(wù)器整體運行能耗減少約45%。這種高效能與低功耗的平衡特性,使其不僅適用于集中式的數(shù)據(jù)中心,也能滿足邊緣計算場景中對空間和能耗敏感的應(yīng)用需求。NVIDIA計劃將SOCAM率先應(yīng)用于其AI服務(wù)器產(chǎn)品和AI PC(工作站)產(chǎn)品。
在英偉達(dá)規(guī)劃中,GB300 Blackwell平臺將率先采用SOCAMM。Blackwell架構(gòu)GPU有2080億個晶體管,采用臺積電4NP定制工藝制造。所有Blackwell產(chǎn)品均采用雙倍光刻極限尺寸的裸片,通過10 TB/s的片間互聯(lián)技術(shù)連接成統(tǒng)一的GPU,在性能、效率和規(guī)模上取得了突破性進(jìn)展。而SOCAMM內(nèi)存模塊的加入,將進(jìn)一步提升其AI運算表現(xiàn)。
此外,英偉達(dá)在今年5月GTC 2025上發(fā)布的個人AI超級計算機(jī)“DGX Spark”也采用了SOCAMM模塊。DGX Spark采用NVIDIA GB10 Grace Blackwell超級芯片,能提供高性能AI功能,支持多達(dá)2000億個參數(shù)的模型。隨著DGX Spark的推出,預(yù)計將推動SOCAMM向PC市場滲透,讓更多消費者受益于這一先進(jìn)內(nèi)存技術(shù)。
SOCAMM與現(xiàn)有的筆記本電腦DRAM模塊(LPCAMM)相比,I/O速度更快,數(shù)據(jù)傳輸更高效,且結(jié)構(gòu)緊湊,更易更換和擴(kuò)展。
隨著SOCAMM在AI服務(wù)器和PC中的應(yīng)用不斷增加,其大規(guī)模出貨預(yù)計將對內(nèi)存和PCB電路板市場產(chǎn)生積極影響。知情人士透露,“英偉達(dá)正與內(nèi)存和電路板行業(yè)分享SOCAMM的部署量(60至80萬片),該模塊將應(yīng)用于其AI產(chǎn)品”,目前內(nèi)存和PCB電路板行業(yè)都在積極籌備訂單和供貨。
從內(nèi)存市場看,SOCAMM的應(yīng)用將刺激低功耗DRAM需求,推動內(nèi)存廠商加大相關(guān)技術(shù)研發(fā)和產(chǎn)能擴(kuò)充投入。由于SOCAMM需要適配電路板設(shè)計,這將促使PCB廠商開發(fā)新產(chǎn)品方案,帶動行業(yè)技術(shù)升級。
目前在內(nèi)存廠商中,美光的SOCAMM已率先獲英偉達(dá)量產(chǎn)批準(zhǔn),成為英偉達(dá)下一代內(nèi)存供應(yīng)商。三星和SK海力士的SOCAMM尚未獲得英偉達(dá)認(rèn)證,但這兩家大廠也在積極與英偉達(dá)溝通,希望能供應(yīng)SOCAMM。
美光SOCAMM是業(yè)界首款專為AI資料中心設(shè)計的資料中心級模塊化低功耗存儲器模塊。它將美光領(lǐng)先的LPDDR5X與CAMM存儲器模塊結(jié)合,為更高效的AI資料中心奠定了基礎(chǔ)。

美光宣稱其最新LPDDR5X芯片能效比競爭對手高出20%,這是其贏得英偉達(dá)訂單的關(guān)鍵因素??紤]到每臺AI服務(wù)器將搭載四個SOCAMM模塊(總計256個DRAM芯片),散熱效率尤為重要。
與美光此前生產(chǎn)的服務(wù)器DDR模塊RDIMM相比,SOCAMM尺寸和功耗減少了三分之一,帶寬增加了2.5倍。
通過采用美光LPDDR5X等創(chuàng)新型低功耗(LP)存儲器架構(gòu),資料中心可大幅提高效能,避免傳統(tǒng)DDR5存儲器的能源損耗。與DDR5等傳統(tǒng)存儲器技術(shù)不同,LP存儲器運行電壓較低,通過減少功耗、降低發(fā)熱量、優(yōu)化節(jié)能電路設(shè)計等方式提高功耗和能源效率。
在大規(guī)模客戶支持環(huán)境中執(zhí)行推理Llama 3 70B,單個GPU管理復(fù)雜的AI互動,同時實時處理數(shù)千個復(fù)雜的客戶查詢。LP存儲器的使用使這一密集型運算更具能源效率。
測試LPDDR5X存儲器(在搭載NVLink的NVIDIA GH200 Grace Hopper超級芯片上)與傳統(tǒng)DDR5存儲器(在搭載PCIe連線Hopper GPU的x86系統(tǒng)上)時,結(jié)果顯示LP存儲器實現(xiàn)了關(guān)鍵的效能提升。使用Meta Llama 3 70B測試推理效能時,LP存儲器系統(tǒng)推理吞吐量提高了5倍、延遲減少了近80%、能源消耗降低了73%。

LLM推理的能源效率 來源:美光官網(wǎng)
隨著英偉達(dá)對SOCAMM內(nèi)存模塊的大規(guī)模部署,以及其在AI服務(wù)器和PC市場的逐步滲透,將推動整個AI產(chǎn)業(yè)鏈圍繞這一新型內(nèi)存技術(shù)進(jìn)行升級和發(fā)展。無論是內(nèi)存廠商、PCB電路板廠商,還是服務(wù)器制造商和終端用戶,都將從SOCAMM帶來的影響中受益。
更多熱點文章閱讀
點擊關(guān)注 星標(biāo)我們
將我們設(shè)為星標(biāo),不錯過每一次更新!

喜歡就獎勵一個“在看”吧!
本文僅代表作者觀點,版權(quán)歸原創(chuàng)者所有,如需轉(zhuǎn)載請在文中注明來源及作者名字。
免責(zé)聲明:本文系轉(zhuǎn)載編輯文章,僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布,請及時與我們聯(lián)系進(jìn)行審核處理或刪除,您可以發(fā)送材料至郵箱:service@tojoy.com





