快科技7月31日消息，據(jù)媒體報(bào)道，2025（第二屆）產(chǎn)融合作大會(huì)在北京舉行。會(huì)上，浪潮存儲(chǔ)重磅推出推理加速存儲(chǔ)產(chǎn)品AS3000G7，該產(chǎn)品旨在解決大模型推理中因KV Cache重復(fù)計(jì)算造成的算力浪費(fèi)和時(shí)延問(wèn)題，為金融、科研等領(lǐng)域的模型規(guī)?；涞靥峁╆P(guān)鍵支持。

目前，大模型推理嚴(yán)重依賴昂貴的GPU服務(wù)器，其利用效率直接影響著模型從‘實(shí)驗(yàn)室’走向‘生產(chǎn)線’的進(jìn)程。

同時(shí)，IDC預(yù)測(cè)，未來(lái)五年智能算力規(guī)模將增長(zhǎng)1.7倍，到2027年，推理工作負(fù)載占比將超70%，提升GPU利用效率的需求愈發(fā)緊迫。

浪潮存儲(chǔ)AS3000G7創(chuàng)新性地提出‘以存代算’方案，該產(chǎn)品可集中存儲(chǔ)所有KV Cache及多輪對(duì)話結(jié)果。

其架構(gòu)能將KV Cache從GPU本機(jī)內(nèi)存，通過(guò)高速網(wǎng)絡(luò)緩存至AS3000G7。在后續(xù)對(duì)話中，系統(tǒng)可按需直接提取緩存，避免了重復(fù)計(jì)算。

這一突破性設(shè)計(jì)大幅節(jié)省了算力消耗，提高了寶貴的GPU資源利用率，推動(dòng)了大模型在實(shí)際場(chǎng)景中的高效應(yīng)用。

本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請(qǐng)?jiān)谖闹凶⒚鱽?lái)源及作者名字。

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請(qǐng)及時(shí)與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com