大模型帶火數(shù)據(jù)訓(xùn)練 AI原生向量數(shù)據(jù)庫(kù)趨熱
大模型正在帶火多個(gè)細(xì)分賽道。
今日下午,騰訊云發(fā)布AI原生(AI Native)向量數(shù)據(jù)庫(kù)Tencent Cloud VectorDB,該數(shù)據(jù)庫(kù)面向大模型場(chǎng)景,8月將在騰訊云官網(wǎng)正式上線。
據(jù)介紹,向量數(shù)據(jù)庫(kù)是專(zhuān)門(mén)用來(lái)存儲(chǔ)和查詢(xún)向量的數(shù)據(jù)庫(kù),利用這類(lèi)數(shù)據(jù)庫(kù)來(lái)存儲(chǔ)和查詢(xún)數(shù)據(jù),可以極大提升效率和降低成本。
騰訊云數(shù)據(jù)庫(kù)副總經(jīng)理羅云稱(chēng),騰訊云發(fā)布的AI原生向量數(shù)據(jù)庫(kù),面向大模型訓(xùn)練、推理和知識(shí)庫(kù)補(bǔ)充等場(chǎng)景,并且在接入層、計(jì)算層、存儲(chǔ)層均已實(shí)現(xiàn)了全面AI化。
大模型正在加速進(jìn)入各行業(yè),但這些模型往往包含數(shù)十億甚至更高參數(shù),參數(shù)規(guī)模較大訓(xùn)練成本高昂,并且都是預(yù)訓(xùn)練模型,對(duì)于訓(xùn)練截止日之后發(fā)生的事情一無(wú)所知。
根據(jù)騰訊給出的數(shù)據(jù),騰訊云向量數(shù)據(jù)庫(kù)用于大模型預(yù)訓(xùn)練數(shù)據(jù)的分類(lèi)、去重和清洗,相比傳統(tǒng)方式可以實(shí)現(xiàn)10倍效率的提升,如果將向量數(shù)據(jù)庫(kù)作為外部知識(shí)庫(kù)用于模型推理,則可以將成本降低2-4個(gè)數(shù)量級(jí)。企業(yè)原先接入一個(gè)大模型需要花1個(gè)月左右時(shí)間,使用向量數(shù)據(jù)庫(kù)后,3天時(shí)間即可完成,極大降低了接入成本。
與騰訊的大模型發(fā)展路徑類(lèi)似,本次面向大模型場(chǎng)景的向量數(shù)據(jù)庫(kù),也是首先在騰訊生態(tài)內(nèi)產(chǎn)品得到應(yīng)用。
據(jù)騰訊PCG大數(shù)據(jù)平臺(tái)部搜索推薦Senior Tech Lead鄭偉介紹,騰訊云向量數(shù)據(jù)庫(kù)目前已經(jīng)應(yīng)用在了騰訊視頻、QQ瀏覽器、QQ音樂(lè)等30多款騰訊生態(tài)產(chǎn)品中,能有效助力產(chǎn)品提升運(yùn)營(yíng)效率。
數(shù)據(jù)顯示,使用騰訊云向量數(shù)據(jù)庫(kù)后,QQ音樂(lè)人均聽(tīng)歌時(shí)長(zhǎng)提升3.2%、騰訊視頻有效曝光人均時(shí)長(zhǎng)提升1.74%、QQ瀏覽器成本降低37.9%。
在大模型的數(shù)據(jù)訓(xùn)練需求催化之下,向量數(shù)據(jù)庫(kù)概念于今年4月開(kāi)始走紅市場(chǎng)。
首先,今年4月多家向量數(shù)據(jù)庫(kù)創(chuàng)業(yè)公司獲大額新融資,引發(fā)市場(chǎng)熱議。據(jù)華福證券梳理,隨著大模型帶來(lái)的應(yīng)用需求提升,4月以來(lái)多家海外知名向量數(shù)據(jù)庫(kù)創(chuàng)業(yè)企業(yè)獲得融資。
4月6日Chroma獲1800萬(wàn)美元種子輪融資;
4月19日Qdrant獲750萬(wàn)美元種子輪融資;
4月22日,向量數(shù)據(jù)庫(kù)平臺(tái)Weaviate宣布獲得5000萬(wàn)美元(約3.5億元)B輪融資,由Index Ventures領(lǐng)投,Battery Ventures等跟投;
4月28日,向量數(shù)據(jù)庫(kù)平臺(tái)Pinecone宣布獲得1億美元(約7億元)B輪融資,由Andreessen Horowitz領(lǐng)投,ICONIQ Growth等跟投。
行情方面,星環(huán)科技、北交所云創(chuàng)數(shù)據(jù)等公司股價(jià)連續(xù)異動(dòng),其中云創(chuàng)數(shù)據(jù)自底部以來(lái)股價(jià)已接近翻倍。
騰訊向量數(shù)據(jù)庫(kù)產(chǎn)品的醞釀,幾乎與市場(chǎng)時(shí)間同步。
羅云在《科創(chuàng)板日?qǐng)?bào)》等媒體采訪時(shí)表示,3月份,在看到向量數(shù)據(jù)庫(kù)能夠支持大模型做信息召回、彌補(bǔ)沒(méi)有長(zhǎng)期記憶等問(wèn)題時(shí),當(dāng)時(shí)團(tuán)隊(duì)就判斷,基于騰訊的積累對(duì)外單獨(dú)提供一個(gè)更大規(guī)模企業(yè)級(jí)的向量數(shù)據(jù)庫(kù),有優(yōu)勢(shì),市場(chǎng)也有需求。
東北證券指出,向量數(shù)據(jù)庫(kù)市場(chǎng)空間巨大,目前處于從0-1階段,預(yù)測(cè)到2030年,全球向量數(shù)據(jù)庫(kù)市場(chǎng)規(guī)模有望達(dá)到500億美元,國(guó)內(nèi)向量數(shù)據(jù)庫(kù)市場(chǎng)規(guī)模有望超過(guò)600億人民幣。
商業(yè)模式上,羅云表示,騰訊云的向量數(shù)據(jù)庫(kù)會(huì)作為一個(gè)單獨(dú)的產(chǎn)品在官網(wǎng)售賣(mài),也可能會(huì)與其他解決方案和產(chǎn)品打包一起售賣(mài),兩種模式并不沖突。
一定程度上,騰訊云向量數(shù)據(jù)庫(kù)的推出,是跟隨大模型的浪潮,細(xì)分行業(yè)未來(lái)的發(fā)展路徑也將受制于此。
羅云表示,向量數(shù)據(jù)庫(kù)的能力已經(jīng)能夠適應(yīng)客戶(hù)訴求了,核心卡點(diǎn)就在于,如何去用好AI,國(guó)內(nèi)大模型的發(fā)展,其實(shí)都還有一個(gè)時(shí)間周期,外部的市場(chǎng)環(huán)境會(huì)導(dǎo)致向量數(shù)據(jù)庫(kù)的大規(guī)模發(fā)展應(yīng)用還沒(méi)有那么快。
本文僅代表作者觀點(diǎn),版權(quán)歸原創(chuàng)者所有,如需轉(zhuǎn)載請(qǐng)?jiān)谖闹凶⒚鱽?lái)源及作者名字。
免責(zé)聲明:本文系轉(zhuǎn)載編輯文章,僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布,請(qǐng)及時(shí)與我們聯(lián)系進(jìn)行審核處理或刪除,您可以發(fā)送材料至郵箱:service@tojoy.com