MiniMax和Kimi為了“注意力”，隔空交手

作者 ｜ 周一笑
郵箱 ｜ zhouyixiao@pingwest.com

10月29日，月之暗面研究員周昕宇（Zhou Xinyu）在X上轉(zhuǎn)發(fā)了MiniMax M2 Tech Blog的推文，并評論道：“Minimax don't worry, Kimi got your back ”。不僅如此，他還在知乎的同一篇博文下留下了同樣的評論，這種帶有調(diào)侃意味的公開“示好”，既像挑逗，也像挑釁。

在M2發(fā)布兩天后，MiniMax的預(yù)訓(xùn)練負(fù)責(zé)人孫浩海（Haohai Sun）在知乎和X發(fā)布了一篇技術(shù)博客，罕見地坦誠地說明了團(tuán)隊為什么放棄efficient attention，“為什么不做linear/sparse attention”？“一直在做，但是在工業(yè)系統(tǒng)里真的打過Full Attention還有些距離”

周昕宇的評論顯然有所指，但“got your back”究竟是什么意思？答案在24小時后揭曉。10月30日，月之暗面發(fā)布了Kimi Linear，一個48B參數(shù)的混合注意力模型，聲稱在長上下文任務(wù)中KV Cache減少75%，吞吐量提升6倍。

技術(shù)報告的Abstract寫道：“for the first time, outperforms full attention under fair comparisons across various scenarios”（首次在公平對比下全面超越全注意力）。

從MiniMax M2發(fā)布到Kimi Linear發(fā)布，恰好72小時。這種技術(shù)路線扽差異是大模型行業(yè)在效率與性能之間的路線探索，爭論仍未塵埃落定。

MiniMax M2：回歸Full Attention

MiniMax此前的M1 Lightning采用Softmax + MoE的混合式架構(gòu)，支持百萬級上下文。到了M2，MiniMax選擇了回歸Full Attention。

M2的定位是Agent和代碼生成，強調(diào)"大巧若拙"的產(chǎn)品哲學(xué)。在價格上，M2僅為Claude Sonnet 4.5的8%（每百萬Token輸入0.3美元），推理速度快近2倍（TPS約100）。MiniMax在官方發(fā)布文章中表示，這是通過"高效的激活參數(shù)設(shè)計"實現(xiàn)的"智能、速度與成本的最佳平衡"。

《為什么M2是Full Attention》這篇文章在知乎和X都獲得了不少好評。X上的評論者認(rèn)為這是“難得的工程視角分享”，“對行業(yè)非常有價值”。一位名為@TensorTemplar的評論者說：“難得見到如此詳盡公開分享模型架構(gòu)的整體工程視角。關(guān)于稀疏注意力尾部風(fēng)險的論述非常精彩！在復(fù)雜多輪使用場景中尚未證明其等效性前，我暫不愿稱之為‘高效’。”

Haohai詳細(xì)闡述了三個核心困難。第一個是工程鏈路復(fù)雜性爆炸。用他的話說，“需要同時滿足code/math、agent、多模態(tài)、Long CoT、RL、低精度運算、緩存、speculative decoding等眾多場景”。翻譯成人話就是，現(xiàn)代大模型不只是做一件事，而是要同時支持十幾種不同的應(yīng)用場景。每增加一種efficient attention機制，就要在所有這些場景下驗證，工程復(fù)雜度呈指數(shù)級增長。

第二個困難是評測體系局限。“小規(guī)模實驗的結(jié)論無法外推，復(fù)雜多跳推理任務(wù)的缺陷只在大規(guī)模時暴露。”在小模型上測試效果好，不代表在大模型上也好。很多問題只有在訓(xùn)練到一定規(guī)模時才會暴露，但那時候已經(jīng)投入了大量資源，來不及調(diào)整。Haohai在評論區(qū)補充說，復(fù)雜多跳推理任務(wù)可以參考KorBench、BBEH等榜單，以及BBH里的dyck language任務(wù)。

有評論者問“你們是否嘗試過其他線性注意力變體，比如門控Delta Net或Mamba2？"Haohai回復(fù)：”GDN混合模型表現(xiàn)尚可，Mamba2 < Mamba2 + qknorm ≈ GDN。但與全注意力模型相比，這些模型在推理密集型基準(zhǔn)測試（如BBH）中表現(xiàn)相對較弱。“MiniMax在實際測試中發(fā)現(xiàn)了問題。

第三個困難是基建不完善。“Linear Attention的訓(xùn)練是訪存bound，推理需要解決低精度存儲、Prefix Cache、投機解碼等問題。”即使理論上linear attention更快，但實際工程中需要解決很多基礎(chǔ)設(shè)施問題。訓(xùn)練時內(nèi)存帶寬成為瓶頸，推理時需要支持各種優(yōu)化技術(shù)，這些都還沒有成熟的解決方案。

這篇博客的評論區(qū)也透露了一些重要信息。一位名為silicon的開發(fā)者評論道：“我自己都開發(fā)了近百種Transformer變體了，但‘驗證新變體是否先進(jìn)’所花的時間遠(yuǎn)遠(yuǎn)大于開發(fā)算法的時間”。Benchmark困境不只是MiniMax的問題，而是整個行業(yè)的痛點。

另一個問題是關(guān)于成本和時延的澄清。當(dāng)有網(wǎng)友問“Agent場景下Full Attention會成為瓶頸嗎”時，Haohai回答是：“GPU的進(jìn)步非常快，對Full Attention來說目前只有成本問題，沒有時延問題。”也就是說核心矛盾不是速度慢，而是成本高。MiniMax的策略是等待GPU進(jìn)步解決成本問題，同時通過工程優(yōu)化（如“高效的激活參數(shù)設(shè)計”）來平衡性能和成本。

月暗的“挑逗”和Kimi Linear的發(fā)布

Zhou Xinyu是月之暗面的研究員，也是MoBA（Mixture of Block Attention）論文的核心作者之一，他的“挑逗”背后藏著一個大招。10月30日晚，月之暗面發(fā)布了Kimi Linear，一個48B總參數(shù)、3B激活參數(shù)的MoE模型，訓(xùn)練數(shù)據(jù)達(dá)5.7T tokens，支持1M tokens的上下文長度。模型權(quán)重、代碼和技術(shù)報告全部開源。從M2發(fā)布到Kimi Linear發(fā)布，72小時。

Kimi Linear有三個值得注意的點。

第一個是Kimi Delta Attention (KDA)。KDA基于Gated DeltaNet，引入了fine-grained gating機制。具體來說，它從scalar gate（標(biāo)量門控）升級到channel-wise gate（通道級門控），讓每個特征維度都有獨立的遺忘因子。用人話說，就像給模型裝了更精細(xì)的"記憶開關(guān)"。傳統(tǒng)的門控機制是一個總開關(guān)，要么全記住，要么全忘記。而KDA可以針對不同類型的信息分別控制記憶強度，比如對代碼語法記得牢一點，對臨時變量忘得快一點。這個改進(jìn)帶來了顯著的性能提升，相比標(biāo)準(zhǔn)DPLR實現(xiàn)，KDA的計算效率提升了約100%。

第二個是3:1的混合比例。Kimi Linear采用了Hybrid架構(gòu)，將KDA（線性注意力）和MLA（Multi-head Latent Attention）混合使用。MLA是DeepSeek在V2/V3中使用的技術(shù)，通過將注意力輸入壓縮成低維潛在向量，然后在需要計算注意力時映射回高維空間，顯著減少了內(nèi)存需求。關(guān)鍵問題是混合的比例應(yīng)該是多少？Kimi團(tuán)隊通過系統(tǒng)性的ablation study找到了答案：3:1，也就是每3層KDA配1層MLA。

實驗結(jié)果顯示，3:1是平衡性能和效率的最佳點。純MLA（0:1）的validation PPL是5.77，3:1是5.65，1:1是5.66，7:1是5.70，15:1是5.82。太多全注意力（1:1）浪費資源，太少（7:1、15:1）影響性能。

Kimi Linear 模型架構(gòu)示意圖。該模型由一系列堆疊的模塊組成，每個模塊包含一個 token 混合層（token mixing layer），其后接一個 MoE 通道混合層（channel-mixing layer）。

第三個是No Position Encoding (NoPE)。Kimi Linear的MLA層不使用位置編碼（如RoPE），所有的位置信息完全由KDA層負(fù)責(zé)。這個設(shè)計帶來三個好處：推理效率更高（MLA可以轉(zhuǎn)換為更高效的MQA）、訓(xùn)練更簡單（避免了RoPE參數(shù)調(diào)整）、長上下文泛化更好。

Kimi Linear的性能數(shù)據(jù)很亮眼。技術(shù)報告顯示，Kimi Linear"顯著減少了高達(dá)75%的KV cache需求"，這意味著內(nèi)存占用降低4倍，直接降低了部署成本。在1M tokens的長上下文場景中，Kimi Linear的解碼吞吐量比MLA（全注意力）快6.3倍。具體數(shù)據(jù)是TPOT（Time Per Output Token）從11.48ms降到1.84ms。

在RULER基準(zhǔn)測試（128k context）上，Kimi Linear達(dá)到84.3的性能，同時速度是MLA的3.98倍。技術(shù)報告稱這是"Pareto-optimal"，性能和速度都是最優(yōu)，沒有trade-off。

Kimi團(tuán)隊用1.4T tokens的訓(xùn)練驗證了scaling law。MLA的Loss是2.3092 × C^(-0.0536)，Kimi Linear是2.2879 × C^(-0.0527)。技術(shù)報告總結(jié)：“Kimi Linear achieves ～ 1.16× computational efficiency”。大規(guī)模訓(xùn)練中，Kimi Linear仍然優(yōu)于Full Attention。

為了驗證理論正確性，Kimi團(tuán)隊在三個合成任務(wù)上測試了KDA：Palindrome（回文任務(wù)）、MQAR（多查詢關(guān)聯(lián)回憶）、Stack（棧追蹤）。KDA在所有任務(wù)上都達(dá)到100%準(zhǔn)確率，而GDN和Mamba2在長序列上失敗。這些任務(wù)測試的正是復(fù)雜多跳推理能力。

這也是Linear attention首次在公平對比下全面超越Full Attention。不是特定任務(wù)，而是"across various scenarios"（各種場景），包括short-context、long-context、RL scaling。

Kimi Linear的工程化成熟度還體現(xiàn)在vLLM集成上。vLLM是UC Berkeley開發(fā)的開源LLM推理框架，是全球最主流的推理引擎之一。Kimi Delta Attention（KDA）算子已被vLLM官方整合進(jìn)主代碼庫。這意味著vLLM用戶只要升級到最新版本，就可以直接使用Kimi的注意力實現(xiàn)。

MiniMax向左，Kimi向右

MiniMax和Kimi的選擇，代表了兩種不同的技術(shù)路線。整個行業(yè)也都在探索，DeepSeek用MLA 改造/壓縮KV-cache，Mistral引入滑動窗口稀疏模式，OpenAI與Anthropic的具體注意力實現(xiàn)未公開，業(yè)內(nèi)普遍認(rèn)為其以Full Attention的工程化加速為主。

不同選擇反映了效率與性能的不同權(quán)衡。MiniMax選擇Full Attention，核心邏輯是等待GPU進(jìn)步解決成本問題，同時通過工程優(yōu)化來平衡性能和成本。Full Attention是經(jīng)過多年驗證的技術(shù)，不需要擔(dān)心在某些場景下的隱藏弱點。

Kimi選擇KDA + MLA，核心邏輯是主動優(yōu)化架構(gòu)降低成本，系統(tǒng)性解決工程化問題。這種選擇的優(yōu)勢是效率更高、成本更低、長期可能競爭力更強，但也面臨更大的工程挑戰(zhàn)，需要在多個場景下驗證穩(wěn)定性。Kimi Linear的發(fā)布證明，至少在月之暗面的技術(shù)體系中，他們找到了可能的解決方案。

兩種選擇都有其合理性。MiniMax的策略是時間換空間，賭GPU進(jìn)步會解決成本問題。Kimi的策略是空間換時間，通過技術(shù)創(chuàng)新主動降低成本。哪種路線更好？目前還沒有定論。

不過，這種不同路線的探索和公開的技術(shù)討論，對整個行業(yè)都是一件好事。它讓外界看到了大模型技術(shù)演進(jìn)的真實圖景，沒有正確答案，而是多條路徑的并行探索。MiniMax和Kimi的坦誠和創(chuàng)新，都在推動行業(yè)進(jìn)步。

但在技術(shù)探討之外，兩家公司在實際層面的競爭也不容忽視。月之暗面和MiniMax都定位于中國頭部通用大模型，在長上下文、代碼/Agent、開源推理生態(tài)等方面同場競跑。技術(shù)路線的選擇不僅關(guān)乎技術(shù)本身，也關(guān)乎資本市場的認(rèn)可和長期競爭力。

這是Full Attention和Efficient Attention兩種技術(shù)路線的較量，也是MiniMax和Kimi兩家公司的角力，兩件事情都會持續(xù)下去。這場關(guān)于Attention機制的技術(shù)之爭，本身也成了一場“注意力之爭”