華為推出DeepSeek訓(xùn)練/推一體機(jī),國產(chǎn)芯片迎來新機(jī)遇?
DeepSeek的熱潮終于帶來了AI一體機(jī)產(chǎn)品?這種具有“中國特色”的AI硬件能否為國產(chǎn)芯片的普及增添一把火?
二月十六日,根據(jù)“華為數(shù)據(jù)存儲(chǔ)”微信官方賬號(hào)消息,華為DCS 針對(duì)DeepSeek的本地部署,AI解決方案推出了FusionCubeekDS版本。 深度適應(yīng)DeepSeekV3&R1及蒸餾模型的A3000訓(xùn)/推超融合一體機(jī),支持私有化部署。
配置清單顯示,F(xiàn)usionCubeDS版本 有三種類型的A3000訓(xùn)練/推超融合一體機(jī),即Ultra(滿血版)、Pro(蒸餾版)和 Lite(蒸餾輕量版)。
在這些版本中,DeepSeek-R1版可以完美適應(yīng)。、V3671B模型,兩個(gè)華為Atlas800las800las 響應(yīng)速度為671B的A2: 1911 token/s 。而且蒸餾版配有一個(gè)Atlas800las 適配DeepSeek R1-Distill-Qwen-32B、Llama-蒸餾模型,如70B,響應(yīng)速度 70B: 3300 token/s,32B: 4940 token/s。
Atlas800l 華為推出的鯤鵬920A2 昇騰 AI處理器的AI推理服務(wù)器用于深度學(xué)習(xí)模型開發(fā)和AI推理服務(wù)場(chǎng)景。目前用于公司機(jī)房部署和大規(guī)模數(shù)據(jù)中心集群部署,面向公共云、互聯(lián)網(wǎng)、運(yùn)營商、政府、交通、金融、大學(xué)、電力等領(lǐng)域。
在軟件方面,DS版本訓(xùn)練/推超融合一體機(jī)采用大模型訓(xùn)練、推理和應(yīng)用開發(fā)的華為ModelEnginee AI平臺(tái),該平臺(tái)基于升騰AI芯片,通過優(yōu)化推理框架和MoE存算協(xié)同,提供動(dòng)態(tài)轉(zhuǎn)換和全局統(tǒng)一緩存,實(shí)現(xiàn)推理高并發(fā)、低延遲。二月六日,華為宣布,ModelEngine平臺(tái)全面支持DeepSeek大模型R1&V3和蒸餾系列模型的本地部署和優(yōu)化,開發(fā)者可以通過該平臺(tái)實(shí)現(xiàn)上述DeepSeek大模型的“一鍵部署”。
最近,DeepSeek在線計(jì)算能力嚴(yán)重不足,帶火了大模型本地部署的需要,許多廠商開始銷售各種AI一體機(jī)產(chǎn)品。
2月5日,聯(lián)想和國內(nèi)AI芯片制造商沐曦聯(lián)合發(fā)布了基于DeepSeek的公告。 選擇ThinkStation的大型一體機(jī)解決方案 依托PX工作站,配備了沐曦曦N260 GPU。
2月14日,中科曙光還發(fā)布了全國制造的DeepSeek超一體機(jī)。該一體機(jī)選用全國制造技術(shù)路線,選用國產(chǎn)X86 支持全精度、半精度混合訓(xùn)練和推理的CPU和國產(chǎn)GPGPU加速卡。
DS超融合一體機(jī),中科曙光
中科曙光一體機(jī)在模型適配方面也完全適應(yīng)了DeepSeek系列模型,例如DeepSeek。 V3、DeepSeek SeekR1和Deep Janus Pro,還支持全系列量化蒸餾版本。與此同時(shí),QWen2.5、LLama3.2、同時(shí),ChatGLM等主流大型模型也完全適應(yīng),滿足不同業(yè)務(wù)場(chǎng)景的需要。
中科曙光微信官方賬號(hào)的文章,毫不猶豫地稱這臺(tái)一體機(jī)為“國貨之光”,將為政府和企業(yè)的數(shù)字化、智能化轉(zhuǎn)型按下“加速鍵”。
事實(shí)上,AI一體機(jī)并不是最近才出現(xiàn)的新事物。在中國市場(chǎng),將軟硬件包裝在一起的“一體機(jī)”一直有著獨(dú)特的生存空間,因?yàn)榇罅抗静辉敢鉃楹?jiǎn)單的軟件和計(jì)算率付費(fèi),或者因?yàn)閿?shù)據(jù)安全等因素專注于本地部署硬件。
相比之下,盡管英偉達(dá)還推出了Jetson系列硬件集成平臺(tái),但它主要用于機(jī)器人和嵌入式邊緣計(jì)算等場(chǎng)景,而不是推理一般的大模型。
然而,隨著大模型推理成本的降低和C端用戶需求的增加,英偉達(dá)也將目光投向了個(gè)人市場(chǎng)。今年早些時(shí)候,英偉達(dá)推出了個(gè)人超級(jí)計(jì)算機(jī)。Project DIGITS”,這款產(chǎn)品配備了英偉達(dá)全新GB10非常芯片,最高可提供1。 AI性能PFLOPS主要用于AI大模型的原型設(shè)計(jì)、微調(diào)和運(yùn)行。
Project DIGITS(左下方的紙箱物件)被稱為世界上最小的可運(yùn)行物品。 200B 參數(shù)模型的 AI 超級(jí)計(jì)算機(jī)。英偉達(dá)官網(wǎng)
英偉達(dá)說,GB10非常芯片使Project 只要使用標(biāo)準(zhǔn)電源插頭,DIGITS就可以提供強(qiáng)大的性能。借助 Project DIGITS,用戶可利用自己的桌面系統(tǒng)開發(fā)和運(yùn)行模型推理,并在加速云或數(shù)據(jù)中心基礎(chǔ)設(shè)施上無縫布署模型。與此同時(shí),用戶還可以通過英偉達(dá)技術(shù)將兩個(gè)Project DIGITS AI超級(jí)計(jì)算機(jī)連接在一起,運(yùn)行的參數(shù)模型高達(dá)4050億。
FusionCube華為版 目前還不清楚A3000和中科曙光DS超融合一體機(jī)的價(jià)格,而英偉達(dá)面向個(gè)人的消費(fèi)級(jí)Project DIGITS的實(shí)際售價(jià)約為3000美元,今年晚些時(shí)候上市。
本文來自微信微信官方賬號(hào)“觀網(wǎng)財(cái)經(jīng)”,作者:萬小棍,36氪經(jīng)授權(quán)發(fā)布。
本文僅代表作者觀點(diǎn),版權(quán)歸原創(chuàng)者所有,如需轉(zhuǎn)載請(qǐng)?jiān)谖闹凶⒚鱽碓醇白髡呙帧?/p>
免責(zé)聲明:本文系轉(zhuǎn)載編輯文章,僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布,請(qǐng)及時(shí)與我們聯(lián)系進(jìn)行審核處理或刪除,您可以發(fā)送材料至郵箱:service@tojoy.com