AI手機,活出行業(yè)的“搖錢樹”
早些年出現(xiàn)的折疊屏未能挽救手機行業(yè)的衰落,證據(jù)是去年全球出貨量仍在拉胯,同比下降3.2%近十年來,達到11.7億部,最低。
幸好Q4出現(xiàn)了一點回暖,全球市場和中國市場分別為8.5%和1.2%同比增長,尤其是后者,在連續(xù)同比下降10個季度后首次轉(zhuǎn)正。
很難說這其中沒有AI的功勞。
從2023年下半年開始,以谷歌、三星、OPPO為代表的廠商將大模型內(nèi)置到智能手機中,完成了從云AI向終端AI的轉(zhuǎn)變,AI手機浪潮正式開啟。
IDC甚至預(yù)測,2024年全球新一代AI手機出貨量將達到1.7億部,占智能手機總出貨量的近15億部。%。
所以AI就成了比折疊屏更有效率的“救命稻草”,但是在產(chǎn)業(yè)鏈眼里,TA更像是一棵“搖錢樹”。
01 端邊AI可以省錢
去年九月,高通發(fā)布了一份關(guān)于AI未來的簡潔標題——混合AI的報告。
本報告的核心是高通通過大模型云推理的“停機”現(xiàn)象,真正的首選是再次向市場強調(diào)終端與云協(xié)同工作的混合AI。
所謂混合AI,就是以云為中心的場景,終端會根據(jù)自己的能力,在可能的情況下從云中分擔AI的工作負荷;但在其他場景中,計算將主要以終端為核心,必要時將任務(wù)轉(zhuǎn)移到云端。
高通的邏輯是,與傳統(tǒng)計算相比,從大型主機和瘦客戶端演變?yōu)楫斍霸坪蚉C。、邊緣終端結(jié)合的模式,如智能手機,生成式AI也將形成云端與終端的結(jié)合。
但是這份報告的真實意圖,是高通提出的兩大趨勢:
AI計算率將從目前的云集中部署逐步轉(zhuǎn)變?yōu)樵婆c終端的靈活分配;大型模型將逐步滲透到終端。
事實上,在高通拿出這份報告之前,它的合作伙伴已經(jīng)這樣做了很長時間,而且之所以跑得快,不僅僅是為了準確預(yù)測未來的趨勢,更重要的是為了省錢。
Deep算法交易企業(yè) Yamm創(chuàng)始人Trading Peleg曾經(jīng)算過一筆賬,8K版ChatGPT云推理費用為0.0049元。/千token(128個A100 GPU)。ChatGPT4云推理的成本約為88.2萬美元,以全球1.8億日活躍用戶和每人每天100千token推理的需求計算。/天。
假如轉(zhuǎn)移到用戶數(shù)量較多的智能手機上?
根據(jù)vivo副總裁周圍公布的數(shù)據(jù),vivo大模型的一次對話費用約為0.012-0.015元。/第二,目前vivo的全國用戶數(shù)量約為3億。日活客戶2.5億(假設(shè)未來滲透率天花板)、每個人每天進行10次對話,vivo大模型每天的云推理費用為3000-3750萬元。
假設(shè)以50%分流計算,將一半的推理分流到終端,那么vivo每年將節(jié)省云運算成本55-68億元。
為了錢,不搞終端AI是不夠的。然而,雖然手機制造商的目標高度一致,但在處理大型手機內(nèi)存瓶頸方面存在矛盾。
02 三條路線
眾所周知,大型語言模型的泛化能力和實用性取決于其參數(shù)。例如,GPT-4擁有16個專家模型,其中包含18000億個參數(shù)。大多數(shù)大型模型都在云端運行,有強大的服務(wù)器硬件支持。如果直接部署在智能終端上,設(shè)備需要有足夠的內(nèi)存。
即使是參數(shù)較少的主流AI模型也有70億或130億參數(shù),每個模型都需要大約14GB和20GB的內(nèi)存。舉例來說,擁有70億參數(shù)的小型LLaMA,其FP16版本大小為14GB,遠遠超過了當前手機的內(nèi)存承載能力。
為解決這一難題,目前主要有三條技術(shù)路線:一是直接提高終端內(nèi)存,二是壓縮大模型體積,三是提高內(nèi)存調(diào)用邏輯。
三條路線分別對應(yīng)三個陣營。以微軟、聯(lián)想、OPPO為代表的力量致力于大模型壓縮路線。蘋果計劃通過優(yōu)化閃存交互和內(nèi)存管理邏輯來解決內(nèi)存堡壘,并希望通過直接增加終端內(nèi)存來突破瓶頸的3DDram技術(shù),代表內(nèi)存制造商。
第一,大模型壓縮規(guī)模最大,主要包括量化、修枝、蒸餾等多種方案。
大型模型壓縮翻譯實際上是在不影響性能的情況下減少模型資源的占用。例如,AquilaChat2-34B只需接近7B等級模型GPU的能耗,就可以提供超過Llama2-70B的模型性能,同時大大減少70B的內(nèi)存占用%,而且綜合性能參數(shù)僅減少0.7%。
例如,微軟SliceGPT技術(shù)屬于修枝策略,測試數(shù)據(jù)顯示,該技術(shù)可以是LLAMA-2 70B、OPT 清除66B和Phi-2模型高達25。%模型參數(shù)(包括嵌入),各自保持密集模型99%、99%和90%零樣本任務(wù)性能。
其次,提高內(nèi)存管理。根據(jù)前面的分析,70億參數(shù)模型只需要超過14GB的內(nèi)存才能載入?yún)?shù),這超出了大多數(shù)智能手機的能力。
蘋果建議將模型參數(shù)存儲在至少比DRAM大一個數(shù)量級的閃存中,然后在推理過程中直接巧妙地將所需參數(shù)從閃存中載入。
具體而言,蘋果建立了以閃存為核心的推理成本模型,并使用窗口化(Windowing)還有團隊捆綁(Row-Column Bundling)為了最大限度地減少數(shù)據(jù)傳輸,最大限度地提高閃存吞吐量,兩項核心技術(shù)。
這里就不贅述更具體的技術(shù)實現(xiàn)步驟了。簡而言之,蘋果的閃存方法已經(jīng)完成了可以比設(shè)備DRAM容量運行兩倍的模型,在CPU和GPU上比傳統(tǒng)方法加速4-5倍和20-25倍。
在此之前,美光CEO表示,AI手機的內(nèi)存容量預(yù)計將比今天的非AI旗艦機高500。%到100%。除壓縮和優(yōu)化外,另一種看似愚蠢的方法是直接提高終端內(nèi)存,即3D Dram(垂直存儲器)技術(shù)。
3D Dram是一種將存儲單元放置在二維陣型中,通過垂直疊加顯著提高容量的技術(shù)。相當于覆蓋復(fù)式,減少平面面積占用,增加單位面積的存儲容量,從而最大化容量。
根據(jù)Neo 估計Semiconductor,3D X-可跨230層實現(xiàn)DRAM技術(shù)。 目前DRAM密度的8倍是128Gb密度。NEO提出了每十年容量增長8倍的目標,目標是在2030-2035年間實現(xiàn)1Tb容量,比目前DRAM的核心容量增長64倍。
03 誰能獲益?
雖然路線不同,但是在可行性的前提下,每一個陣營都能達到預(yù)期的效果。
比如芯片廠,無論是高通還是MTK,都在實施端AI下的大模型壓縮。自然,目的是讓下一代芯片支持手機廠商嵌入大模型的需求。只要滿足了這個需求,他們就可以成為第一個獲得紅利的人。
在4G到5G的迭代過程中,高通依靠特殊的供需關(guān)系,直接將手機廠商的芯片采購成本翻了一番。
例如,GalaxyS20 Ultra(12G+在物料成本256G中,驍龍865 與2019年上半年不包括X50基帶的驍龍8555相比,SoC的總成本超過150美元。 大約是4G移動平臺的兩倍。
芯片廠對手機廠商也有絕對的議價權(quán)。在供需失衡的情況下,價格控制能力更強的一方非常愿意打上支持端AI的SoC價格。
除了SoC之外,還有一種零件可以從這波AI升級中受益,但是也許每個人都沒有想到。
在三星S24系列拆卸結(jié)果中,人們發(fā)現(xiàn)不僅石墨散熱器增加了,而且平均散熱器面積也增加了。計算S24、S24+、S24 Ultra各自大了1.5。、1.6、1.9倍。
最后,S24 與上一代5G手機相比,Ultra中添加的散熱材料多了11元。如果考慮到高性能、高價格的石墨烯滲透率增加帶來的價值增加,可以再增加3元。
還有一個部件,類似于SoC的內(nèi)存。
如前所述,在模型體積壓縮、內(nèi)存調(diào)用邏輯提升、3DDram技術(shù)發(fā)展等三條路線的共同作用下,目前的16/24GB內(nèi)存已經(jīng)具備運行端大模型的條件,未來內(nèi)存空間仍有提升跳躍的空間,容量不再受約束。更迫切的需求是提高帶寬以適應(yīng)復(fù)雜的AI任務(wù)。
LPDDR已正式完成JEDEC固態(tài)技術(shù)協(xié)會 預(yù)計2024年第三季度將正式發(fā)布6個內(nèi)存標準的最終決定。目前LPDDR5X內(nèi)存主流帶寬為8533Mbps,LPDDR6帶寬可達12.8Gbps,與LPDDR5X相比,54高%,LPDDR6X還有17Gbps的帶寬。
得益于AI手機對高帶寬內(nèi)存的需求,預(yù)計LPDDR5/LPDDR5X/LPDDR6將繼續(xù)供不應(yīng)求。三星和海力士申請LPDDR6 經(jīng)過RAM認證,LPDDR6內(nèi)存將首次量產(chǎn),與芯片廠一樣,LPDDR6的供需關(guān)系也決定了它的漲價。
04 尾聲
在這場技術(shù)迭代革命中,作為下游手機廠,是要爭取主動的。
AI產(chǎn)生的換機浪潮確實會帶來一波量價上漲,但是參照上一輪迭代,僅靠組裝的手機廠商無法獲得大規(guī)模的溢價。
換言之,要想獲得更多的紅利,特別是在軟硬件成本高的情況下,需要具備自主研發(fā)的能力,比如最重要的大模型和芯片。
當然,在今天的環(huán)境下,高模型培訓(xùn)成本和供需錯配的高性能AI推理芯片對手機廠商提出了嚴峻的考驗。然而,如果你同時具備這兩種自主研究能力,你將具有成本可控和供應(yīng)穩(wěn)定的綜合優(yōu)勢。
而且其他沒有或者沒有完全擁有的廠商,也不一定會被淘汰。不能把握上游,可以轉(zhuǎn)身把握下游。
智能化手機的下游,就是移動互聯(lián)網(wǎng)。
高度智能的AI手機應(yīng)該擺脫臃腫多樣的APP,垂直整合端應(yīng)用,深度連接每一個單獨的荒島??蛻艨梢酝ㄟ^一個指令調(diào)動多個APP自動解決需求,提供一站式服務(wù)。
因此,高度智能化的手機必須集成各種數(shù)據(jù)、權(quán)限和應(yīng)用程序,但單個應(yīng)用程序不能這樣做。因此,自然占據(jù)各種功能入口的手機廠商有可能取代一些應(yīng)用程序開發(fā)商,進一步劃分流量和實現(xiàn)。
以智能修圖、音頻摘要功能為例,運行側(cè)大模型的AI手機將部分或全部替代孤立的修圖類(如美圖秀秀)、音頻類App(如訊飛聽到),這類功能將集成到手機的操作系統(tǒng)中,完全內(nèi)置于拍攝、通話等功能中。
對這個App來說,這一切都已經(jīng)發(fā)生了,將來還會有更多的App被整合和取代。
本文來自微信公眾號“解碼Decode”(ID:作者:解碼工作室,36氪經(jīng)授權(quán)發(fā)布,kankeji001)。
本文僅代表作者觀點,版權(quán)歸原創(chuàng)者所有,如需轉(zhuǎn)載請在文中注明來源及作者名字。
免責(zé)聲明:本文系轉(zhuǎn)載編輯文章,僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布,請及時與我們聯(lián)系進行審核處理或刪除,您可以發(fā)送材料至郵箱:service@tojoy.com