「商湯」大型一體機(jī)可以節(jié)省80%的推理成本,完成云邊全棧布局|最前線
作者|黃楠
編輯|彭孝秋
昨天,商湯科技SenseTime在上海舉辦了行業(yè)交流日。會上,商湯發(fā)布了行業(yè)內(nèi)第一個“云、端、邊”全棧大型產(chǎn)品矩陣,并推出了全新升級的“日新SenseNova” 大模型系統(tǒng)5.0。
對股價的影響(000200).HK)今天開盤后大幅上漲。隨后,商湯在香港證券交易所宣布,商湯集團(tuán)的B類股權(quán)自11:15起暫停交易,暫停前上漲31.15%。
每一天都是新的,來自《禮記·大學(xué)》中的“每一天都是新的,每一天都是新的,每一天都是新的”。它承載著人們對以大模型為代表的AI技術(shù)浪潮的迭代,以及走向AGI(通用人工智能)的期待。
現(xiàn)在,商湯“日日新SenseNova”大模型系統(tǒng)已經(jīng)正式完成了5個版本迭代,基于超過10TB “每日新SenseNovaa”tokens訓(xùn)練,覆蓋大量生成數(shù)據(jù), “5.0”(以下簡稱:「日日新5.0」)選擇混合專家架構(gòu),推理時前后文窗口可有效達(dá)到200K左右。
在更新能力方面,這次主要集中在知識、數(shù)學(xué)、推理和代碼能力上,全面對標(biāo)GPT-4 Turbo,實(shí)現(xiàn)或超越主流客觀評價 GPT-4 Turbo。
「日日新5.0」能力評測
舉例來說,模型文科能力,「日日新5.0」創(chuàng)意寫作能力、推理能力和總結(jié)能力都有了很大的提高。注入同樣的中文知識后,可以獲得更好的理解、總結(jié)和問答,為教育、內(nèi)容產(chǎn)業(yè)等垂直應(yīng)用領(lǐng)域提供有力幫助。
在應(yīng)用產(chǎn)品中,多模態(tài)能力,「日日新5.0」它可以支持超清晰長圖的分析和理解,以及文生圖的互動生成,還可以提取和總結(jié)復(fù)雜的跨文檔知識的問答展示,還具有豐富的多模式交互能力。
「日日新5.0」和GPT-4一起回答有趣的推理問題:“媽媽給圓圓做了一杯咖啡。圓圓喝了半杯后,加滿了水。然后她喝了半杯,然后加滿了水,最后都喝完了。問圓圓是多喝咖啡還是多喝水?”,「日日新5.0」回答正確。
商湯推出了“云、端、邊”全棧大模型產(chǎn)品矩陣,面對中心化計(jì)算能力需求向終端方向擴(kuò)展的未來趨勢和企業(yè)級邊緣方面的AI需求。包括應(yīng)用于智能終端的“商湯側(cè)大模型”,以及面向金融、代碼、醫(yī)療、政務(wù)等多個領(lǐng)域的邊緣商品“商湯企業(yè)級大模型一體機(jī)”。
目前,金融、代碼、醫(yī)療、政務(wù)等領(lǐng)域的邊緣側(cè)AI應(yīng)用需求呈爆炸式增長,但在實(shí)際落地場景中,公司仍面臨著使用門檻高、能耗高的問題。
注意這一現(xiàn)象,商湯在尋找最佳數(shù)據(jù)比例并制定數(shù)據(jù)質(zhì)量評價體系的同時,也為行業(yè)合作伙伴提供大模型培訓(xùn)、微調(diào)、部署和各種生成式AI的能力和服務(wù)。
會上,商湯推出了端云協(xié)同解決方案,可以通過智能判斷協(xié)同發(fā)揮端云各自的優(yōu)勢。在網(wǎng)上搜索或處理復(fù)雜場景時,需要分流到云處理,部分場景側(cè)處理占80%以上,進(jìn)而顯著降低推理成本。
比如最近流行的小米汽車SU7,其智能車艙采用了商湯的大模型技術(shù)?;谏虦颇P徒鉀Q方案,小米小愛可以為車主提供智能互動體驗(yàn)。
同時,在硬件方面,商湯發(fā)布的企業(yè)級大型一體機(jī)可以支持加速企業(yè)級千億模型和加快知識搜索硬件,實(shí)現(xiàn)本地化部署,即購買和使用,降低企業(yè)應(yīng)用大型模型的門檻。與行業(yè)內(nèi)同類產(chǎn)品相比,推理成本節(jié)省80%,搜索速度大大加快,CPU工作負(fù)荷50%。
隨著規(guī)模定律催生的模型性能大爆發(fā),一方面,大模型的發(fā)展已經(jīng)進(jìn)入落地階段,如何將其與工業(yè)和應(yīng)用領(lǐng)域相結(jié)合是關(guān)鍵環(huán)節(jié);另一方面,“ScalingLaw“規(guī)模定律”路徑逐漸清晰,“出現(xiàn)”時刻不確定,前瞻性探索最先進(jìn)的大模型技術(shù)也是當(dāng)務(wù)之急。
商湯科技董事長兼首席執(zhí)行官徐立表示:“在規(guī)模定律的指導(dǎo)下,商湯將繼續(xù)探索大模型能力的KRE三層架構(gòu)(知識-推理-執(zhí)行),不斷突破大模型能力的邊界?!?/p>
本文僅代表作者觀點(diǎn),版權(quán)歸原創(chuàng)者所有,如需轉(zhuǎn)載請?jiān)谖闹凶⒚鱽碓醇白髡呙帧?/p>
免責(zé)聲明:本文系轉(zhuǎn)載編輯文章,僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布,請及時與我們聯(lián)系進(jìn)行審核處理或刪除,您可以發(fā)送材料至郵箱:service@tojoy.com