智能手機(jī)革命性的技術(shù)突破停滯已久。GPT出現(xiàn)后，業(yè)界逐漸達(dá)成共識(shí)：在智能終端（包括手機(jī)）落地端側(cè)大模型，將再次拉開激動(dòng)人心的重大創(chuàng)新的大幕。

在上海MWC 2023期間，榮耀CEO趙明宣稱，榮耀將在智能手機(jī)端推動(dòng)部署端側(cè)大模型，以此作為榮耀新一輪產(chǎn)品技術(shù)攻堅(jiān)的起點(diǎn)。但在7月12日，趙明沒(méi)有披露其新一代折疊屏Magic V2端側(cè)AI大模型的相關(guān)信息。

目前，端側(cè)大模型的呈現(xiàn)形式均為軟件。華爾街見聞了解到，榮耀AI大模型也將呈以軟件形式，很可能被整合在MagicOS 8.0版本中。

不同于榮耀提出的在智能手機(jī)端部署AI大模型的能力著眼于未來(lái)，今年2月，高通已首次在Android智能手機(jī)上部署Stable Diffusion模型，十多秒即能生成AI圖像。

高通產(chǎn)品管理高級(jí)副總裁兼AI負(fù)責(zé)人Ziad Asghar認(rèn)為，大模型將迅速重塑人機(jī)交互方式。

高通先行：洞察個(gè)體需求

7月12日，榮耀發(fā)布新一代旗艦機(jī)“Magic V2”。在此之前的6月29日，榮耀CEO趙明曾公開宣稱，Magic V2將具有革命性的越級(jí)體驗(yàn)。榮耀希望以此與行業(yè)一起，打破蘋果一家獨(dú)大局面。趙明同時(shí)表示，榮耀將率先將AI大模型引入端側(cè)。

但在7月12日，趙明對(duì)Magic V2的技術(shù)特性或產(chǎn)品特征等信息的闡述，著重的是該機(jī)型的厚度（9.9mm）和重量（231克），卻并未涉及端側(cè)AI大模型。此舉與趙明此前對(duì)Magic V2的端側(cè)AI大模型吹風(fēng)形成鮮明對(duì)比。若是細(xì)品趙明在6月29日的說(shuō)法——“未來(lái)將率先把AI大模型引入端側(cè)”，趙明或許意有所指。據(jù)華爾街見聞了解，未來(lái)榮耀要發(fā)布的MagicOS 8.0版，在部署AI大模型方面，很可能就會(huì)有所動(dòng)作。

榮耀的AI大模型在端側(cè)到底具有什么樣的能力，這是個(gè)什么樣的軟件矩陣（包括編譯/解碼器、算力平臺(tái)、能耗控制、參數(shù)數(shù)量和開發(fā)工具等），目前不得而知。

從行業(yè)層面看，高通已在今年2月首次在智能手機(jī)上實(shí)現(xiàn)了AI模型部署。到今年5月，高通部署的Stable Diffusion模型參數(shù)已增至10億+。

Stable Diffusion是一個(gè)從文本到圖像的生成式AI擴(kuò)散模型，能基于任何文本輸入，在數(shù)十秒內(nèi)創(chuàng)作出逼真圖像。

目前AI繪畫最火的模型是Midjorney和Stable Diffusion，但目前Midjourney模型沒(méi)有開源。Stable Diffusion由StabilityAI公司于2022年提出，論文和代碼都已開源。Stable Diffusion是Diffusion的改進(jìn)版，主要作用是解決Diffusion模型的速度問(wèn)題。

關(guān)于文字怎么生成圖片，技術(shù)原理解釋起來(lái)過(guò)于復(fù)雜。簡(jiǎn)單來(lái)說(shuō)，從Stable Diffusion最初的名字“Latent Diffusion Model（LDM）”看，本質(zhì)是壓縮了圖片的像素，尺寸變小，再通過(guò)編譯器（為何提及榮耀端側(cè)大模型包含了什么樣的編譯器？）將擴(kuò)散壓縮后的圖片還原成原始尺寸，其余的過(guò)程和Diffusion模型差不多類似。

在壓縮圖片的過(guò)程中，提升了文本轉(zhuǎn)化成圖片的速度，這是Stable Diffusion的主要功能。

回到高通在安卓手機(jī)中部署的Stable Diffusion模型。實(shí)現(xiàn)文本轉(zhuǎn)圖像，只是大模型在端側(cè)實(shí)現(xiàn)部署時(shí)，就像宇宙的一粒塵埃，這只是智能手機(jī)未來(lái)革命性的應(yīng)用體驗(yàn)的一個(gè)極小的“元素”。

通過(guò)部署端側(cè)大模型的數(shù)字助手，將成為一種超越想象的存在。未來(lái)的用戶，將有幸通過(guò)智能手機(jī)操控一切商業(yè)服務(wù)，包括餐飲、各類訂票、專業(yè)咨詢、娛樂(lè)、攝影攝像、撰稿、辦公、參與金融活動(dòng)等等。

這就真能實(shí)現(xiàn)高通這位AI負(fù)責(zé)人Ziad Asghar說(shuō)的那樣，“大模型有能力真正重塑我們與應(yīng)用交互的方式”。

只有真正在端側(cè)部署AI大模型，智能終端的“智能”一詞，才能名副其實(shí)。

趙明說(shuō)，“端側(cè)AI大模型的使命就是更好地理解用戶：知道我?guī)c(diǎn)睡覺，知道我喜歡吃什么，能解決我的即時(shí)需求，相當(dāng)于擁有洞察我需求的能力。”

做到擁有對(duì)使用者的個(gè)性需求洞察，原因是每部智能手機(jī)包含的個(gè)人應(yīng)用數(shù)據(jù)，與能理解文字、影音和圖像等多模態(tài)輸入的大語(yǔ)言模型結(jié)合，最終智能手機(jī)的數(shù)字形式（比如虛擬數(shù)字人）就能極為精準(zhǔn)地掌握使用者的偏好。更重要的是，這樣強(qiáng)悍的個(gè)性化體驗(yàn)，還能建立在保護(hù)個(gè)體隱私的基礎(chǔ)上。

怎樣解決端側(cè)AI模型短板

目前，尚無(wú)哪家技術(shù)公司能真正全面部署端側(cè)AI大模型。

高通和華為成為了先行者。兩者的區(qū)別在于高通更加系統(tǒng)，從底層技術(shù)入手，比如利用高通AI軟件棧（Qualcomm AI Stack）執(zhí)行全棧AI優(yōu)化；而華為則更側(cè)重具體的應(yīng)用體驗(yàn)，但相比高通，華為的探索以其具象，從而顯得更具有節(jié)點(diǎn)嘗試特征。

從技術(shù)角度看，高通在智能手機(jī)中部署Stable Diffusion模型，實(shí)際上是將Stable Diffusion模型整合在手機(jī)的混合AI架構(gòu)中，進(jìn)而將之作為量化、編譯和硬件加速優(yōu)化等AI技術(shù)，以此支撐高度智能的應(yīng)用體驗(yàn)。

榮耀未來(lái)若真的在MagicOS 8.0中部署端側(cè)AI大模型，也將是這個(gè)技術(shù)原理。

實(shí)際上，通過(guò)自然語(yǔ)言（NLP）搜索，華為P60已能以之匹配出與描述相符的照片。這一功能，也是端側(cè)AI大模型龐大強(qiáng)悍能力中的一個(gè)極小的應(yīng)用點(diǎn)。

這個(gè)應(yīng)用體驗(yàn)的實(shí)現(xiàn)，背后有華為多模態(tài)大模型技術(shù)和模型小型化處理技術(shù)的支撐。華為將自然語(yǔ)言智能搜圖模型整合進(jìn)了鴻蒙系統(tǒng)（HarmonyOS），實(shí)現(xiàn)與眾不同的精準(zhǔn)自然語(yǔ)言手機(jī)圖庫(kù)搜索體驗(yàn)。

相比華為，高通的端側(cè)AI大模型部署，更側(cè)重系統(tǒng)性的特征。

比如，高通的全棧AI研究，是指優(yōu)化跨應(yīng)用、神經(jīng)網(wǎng)絡(luò)模型、算法、軟件和硬件。針對(duì)Stable Diffusion，高通從Hugging Face（開源模型庫(kù)公司，旗下明星開源庫(kù)是“Transformers”）的FP32 1-5版本開源模型入手，通過(guò)量化、編譯和硬件加速推動(dòng)優(yōu)化，使其能在搭載第二代驍龍8移動(dòng)平臺(tái)的手機(jī)上運(yùn)行。

在智能終端部署AI大模型，必須要解決性能和能耗問(wèn)題。

首先，通過(guò)讓大模型在高通專用AI硬件上高效運(yùn)行，并降低內(nèi)存帶寬消耗，量化不僅能提高性能，還可降低功耗。這些包括諸如自適應(yīng)舍入（AdaRound）等高通AIMET量化技術(shù)，能在更低精度水平保持模型的準(zhǔn)確性，而無(wú)需做重新訓(xùn)練。

其次，以高通AI模型增效工具包（AIMET）訓(xùn)練后量化，可實(shí)現(xiàn)將大模型從FP32壓縮為INT8。這是基于高通AI Research創(chuàng)造的技術(shù)所開發(fā)的工具，目前已集成進(jìn)Qualcomm AI Studio中。

這部分能力由量化完成，其作用是將大模型在精度不變的情況下，從浮點(diǎn)數(shù)轉(zhuǎn)變成整數(shù)，節(jié)省計(jì)算時(shí)間，以及在確保模型性能的同時(shí)，壓縮整體規(guī)模，使之更容易部署在終端。

此外，AI模型能以最高性能和最低功耗高效運(yùn)行的關(guān)鍵，在于編譯器。AI編譯器將輸入的神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)化為能在智能應(yīng)用終端上運(yùn)行的代碼，同時(shí)針對(duì)時(shí)延、性能和功耗做持續(xù)優(yōu)化。

值得一提是高通5G移動(dòng)平臺(tái)驍龍8 Gen2首度集成的AI專用Hexagon處理器，采用了獨(dú)立的專用供電系統(tǒng)，支持微切片推理、INT4精度和Transformer網(wǎng)絡(luò)加速等，能在提供更高性能的同時(shí)，降低能耗和內(nèi)存占用。這也是高通AI軟件棧的組成部分。

這些技術(shù)能應(yīng)用于構(gòu)成Stable Diffusion的所有組件模型，即基于Transformer的文本編碼器、VAE解碼器和UNet。這對(duì)于讓大模型在終端上的順利運(yùn)行至為重要。

高通的全棧AI優(yōu)化，最終實(shí)現(xiàn)了通過(guò)Stable Diffusion模型在智能手機(jī)上的運(yùn)行，能達(dá)成15秒內(nèi)執(zhí)行20步推理，并生成一張512x512像素的圖像。這是在智能手機(jī)上最快的推理速度，能媲美云端時(shí)延，且用戶文本輸入完全不受限制。

無(wú)論是大模型公司，還是像高通這樣的終端軟硬件技術(shù)公司，抑或者是榮耀和華為一類的智能終端商，當(dāng)行業(yè)實(shí)現(xiàn)上下游協(xié)同，共同推動(dòng)將AI大模型在端側(cè)實(shí)現(xiàn)泛在部署，最終將真正引發(fā)新一輪智能終端的技術(shù)創(chuàng)新浪潮，切實(shí)擔(dān)起趙明所稱的在智能終端帶來(lái)革命性的應(yīng)用體驗(yàn)重任。

本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請(qǐng)?jiān)谖闹凶⒚鱽?lái)源及作者名字。

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請(qǐng)及時(shí)與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com