當(dāng)大語(yǔ)言模型生成海量數(shù)據(jù)時(shí)，數(shù)據(jù)存儲(chǔ)難題也隨之而來。華盛頓大學(xué)（UW）SyFI實(shí)驗(yàn)室的研究者們提出創(chuàng)新解決方案——LLMc，即利用大型語(yǔ)言模型自身進(jìn)行無(wú)損文本壓縮的引擎。

基準(zhǔn)測(cè)試結(jié)果顯示，在維基百科、小說文本、科學(xué)摘要等多種數(shù)據(jù)集上，LLMc的壓縮率優(yōu)于傳統(tǒng)壓縮工具（如ZIP和LZMA）。與其他以LLM為基礎(chǔ)的閉源壓縮系統(tǒng)相比，LLMc也表現(xiàn)出同等甚至更優(yōu)的性能。

值得一提的是，該項(xiàng)目已開源，主要作者是來自上海交通大學(xué)ACM班的本科生Yi Pan，目前正在華盛頓大學(xué)實(shí)習(xí)。

LLMc的壓縮機(jī)制

LLMc的靈感源于實(shí)驗(yàn)室一年前的內(nèi)部討論。當(dāng)時(shí)，研究者們面臨核心挑戰(zhàn)：LLM推理中涉及的內(nèi)核操作具有高度非確定性，這讓精確、可復(fù)現(xiàn)的壓縮和解壓變得困難。不過，隨著業(yè)界在確定性LLM推理方面取得突破，問題得到解決，也為新引擎的誕生鋪平了道路。研究團(tuán)隊(duì)順勢(shì)快速構(gòu)建了LLMc的原型，并成功證明用LLM進(jìn)行高效壓縮的可行性。

LLM與數(shù)據(jù)壓縮之間的聯(lián)系基于信息論的基本原理。香農(nóng)的信源編碼定理指出，一個(gè)符號(hào)的最優(yōu)編碼長(zhǎng)度與其負(fù)對(duì)數(shù)似然成正比，即一個(gè)事件的概率越高，編碼它所需的信息量就越少。由于LLM的核心任務(wù)是預(yù)測(cè)下一個(gè)詞元，一個(gè)優(yōu)秀的LLM能夠?yàn)檎鎸?shí)序列中的下一個(gè)詞元賦予極高的概率。這意味著，LLM本質(zhì)上是一個(gè)強(qiáng)大的概率預(yù)測(cè)引擎，而這正是實(shí)現(xiàn)高效壓縮的關(guān)鍵。LLMc利用這一原理，將自然語(yǔ)言的高維分布轉(zhuǎn)換為結(jié)構(gòu)化的概率信息，實(shí)現(xiàn)前所未有的壓縮效果。

LLMc的核心思想是“基于排序的編碼”方法。在壓縮過程中，LLM會(huì)根據(jù)當(dāng)前上下文預(yù)測(cè)下一個(gè)可能出現(xiàn)的詞元，并生成完整的概率分布列表。大多數(shù)情況下，真實(shí)出現(xiàn)的詞元總在這個(gè)預(yù)測(cè)列表的前幾位。LLMc不直接存儲(chǔ)詞元本身，而是存儲(chǔ)該詞元在概率排序列表中的“排名”，這些排名通常是很小的整數(shù)，占用存儲(chǔ)空間極小。在解壓時(shí)，系統(tǒng)使用相同的LLM和上下文重現(xiàn)當(dāng)時(shí)的概率分布，讀取之前存儲(chǔ)的“排名”，就能準(zhǔn)確從列表中選擇對(duì)應(yīng)詞元，無(wú)損恢復(fù)原始文本。在這個(gè)過程中，LLM就像壓縮器和解壓器之間共享的“密碼本”或參考系統(tǒng)。

挑戰(zhàn)與局限性

盡管LLMc取得突破性成果，但研究團(tuán)隊(duì)也指出當(dāng)前版本存在的一些挑戰(zhàn)和局限性。

效率問題：LLM推理的計(jì)算復(fù)雜度與序列長(zhǎng)度成二次方關(guān)系，長(zhǎng)序列推理受內(nèi)存帶寬限制。為緩解這一問題，LLMc采用分塊處理文本的策略，提高GPU利用率并降低計(jì)算開銷。

吞吐量：由于嚴(yán)重依賴大規(guī)模模型推理，LLMc目前的處理速度遠(yuǎn)低于傳統(tǒng)壓縮算法。

數(shù)值穩(wěn)定性：為保證解壓過程的確定性，系統(tǒng)需使用特殊內(nèi)核，并對(duì)詞元排名進(jìn)行整數(shù)編碼，而非直接使用對(duì)數(shù)概率。

應(yīng)用范圍：當(dāng)前實(shí)現(xiàn)主要針對(duì)自然語(yǔ)言。如何將其擴(kuò)展到圖像、視頻或二進(jìn)制數(shù)據(jù)等其他模態(tài)，是未來值得探索的方向。

參考鏈接：

https://syfi.cs.washington.edu/blog/2025-10-03-llmc-compression/Github

網(wǎng)址：

https://github.com/uw-syfi/LLMc

本文來自微信公眾號(hào)“量子位”，作者：朔風(fēng)，36氪經(jīng)授權(quán)發(fā)布。

本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請(qǐng)?jiān)谖闹凶⒚鱽碓醇白髡呙帧?/p>

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請(qǐng)及時(shí)與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com