谷歌新論文把內存股價干崩了！KV cache壓縮6倍

夢晨 發自 凹非寺量子位 | 公眾號 QbitAI

學術會議ICLR，居然和美光和西部數據大跌扯上關系了？

兩家存儲芯片巨頭股價大跌，沒有財報暴雷，沒有供應鏈斷裂，只是谷歌展示了一篇即將在ICLR 2026正式亮相的論文。

谷歌研究院推出TurboQuant壓縮算法，把AI推理過程中最吃內存的KV cache壓縮至少6倍，精度零損失

市場的解讀簡單粗暴，長上下文AI推理以后不需要那么多內存了，利空內存。

網友紛紛表示，這不就是美劇《硅谷》里的Pied Paper？

Pied Piper是2014年開播的HBO經典美劇《硅谷》里的虛構創業公司，核心技術就是一種“近乎無損的極限壓縮算法”。

2026年，類似的算法在現實世界居然成真了。

KVCache量化到3 bit

要理解TurboQuant為什么重要，先得理解它解決的是什么問題。

AI大模型推理時處理過的信息會臨時存在KV Cache，方便后續快速調用，不用每次從頭算起。

問題是隨著上下文窗口越來越長，內存消耗急劇膨脹。KV cache正在成為AI推理的核心瓶頸之一。

傳統的解決思路是向量量化，把高精度數據壓成低精度表示。

但尷尬的是，大部分量化方法本身也需要存儲額外的“量化常數”，每個數字要多占1到2個bit。

TurboQuant用兩個改動把這個額外開銷干到了零。

PolarQuant（極坐標量化）：

不用傳統的X、Y、Z坐標描述數據，轉而用極坐標”距離+角度”。

谷歌團隊發現，轉換后角度的分布非常集中且可預測，根本不需要額外存儲歸一化常數。

就像把“往東走3個路口，往北走4個路口”壓縮成”朝37度方向走5個路口”。

信息量不變，描述更緊湊，還省掉了坐標系本身的開銷。

QJL（量化JL變換）：

把高維數據投影后壓縮成+1或-1的符號位，完全不需要額外內存。TurboQuant用它來消除PolarQuant壓縮后殘留的微小誤差。

兩者組合后PolarQuant先用大部分bit容量捕捉數據的主要信息，QJL再用1個bit做殘差修正。

最終實現3-bit量化，無需任何訓練或微調，精度零損失。

8倍加速，Benchmark全線拉滿

谷歌團隊在Gemma和Mistral等開源模型上，跑了主流長上下文基準測試，覆蓋問答、代碼生成、摘要等多種任務。

在“大海撈針”任務上，TurboQuant在所有測試中拿下完美分數，同時KV cache內存占用縮小了至少6倍。

PolarQuant單獨使用，精度也幾乎無損。

速度提升同樣顯著。在英偉達H100 GPU上，4-bit TurboQuant計算注意力分數的速度，比32-bit未量化版本快了8倍。

不只是省內存，還更快了。

在向量搜索領域，TurboQuant同樣超越了現有最優量化方法的召回率，而且不需要針對具體數據集做調優，也不依賴低效的大碼本。

AI內存的DeepSeek時刻？

Cloudflare CEO評價“這是谷歌的DeepSeek時刻”。

他認為DeepSeek證明了用更少的資源也能訓出頂尖模型。

TurboQuant的方向類似，用更少的內存，也能跑同樣質量的推理。

谷歌表示，TurboQuant除了可以用在Gemini等大模型上，同時還能大幅提升語義搜索的效率，讓谷歌級別的萬億級向量索引查詢更快、成本更低。

不過TurboQuant目前還只是一個實驗室成果，尚未大規模部署。

更關鍵的是，它只解決推理階段的內存問題。而AI訓練環節完全不受影響。

論文地址：
https://research.google/blog/turboquant-redefining-ai-efficiency-with-extreme-compression/

[1]https://x.com/eastdakota/status/2036827179150168182?s=20