大模型架構(gòu)的下半場(chǎng)

華中科技大學(xué)王興剛團(tuán)隊(duì) 投稿
量子位 | 公眾號(hào) QbitAI

研究者們花了十年去擴(kuò)展層內(nèi)的計(jì)算能力，卻忘了擴(kuò)展層間的通信能力。

這件事亟需被改變。

過去十年，深度學(xué)習(xí)領(lǐng)域取得進(jìn)展的方式出奇地一致：什么都往大了整。更多參數(shù)、更多數(shù)據(jù)、更長上下文。而且確實(shí)管用：loss在降，能力在漲，scaling law（擴(kuò)展定律）精確地告訴研究團(tuán)隊(duì)還需要投入多少。

但擴(kuò)展的方向不同，差異也是巨大的。序列長度的擴(kuò)展需要真正的創(chuàng)新，也確實(shí)催生了一整套機(jī)制研究和系統(tǒng)工程。數(shù)據(jù)的擴(kuò)展則直截了當(dāng)：數(shù)據(jù)越多，loss越低。讓模型變得更寬、更深，這看起來也和數(shù)據(jù)的擴(kuò)展一樣簡單。

但寬度和深度真的在同等地發(fā)揮作用嗎？

并非如此。深度在數(shù)量上增長了，但在質(zhì)量上卻沒有。層與層之間的通信機(jī)制幾乎沒有變化。接下來本文將解釋這一點(diǎn)為什么重要，這不僅關(guān)乎網(wǎng)絡(luò)的深度本身，更關(guān)于研究團(tuán)隊(duì)設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)架構(gòu)時(shí)的一個(gè)集體盲區(qū)。

上半場(chǎng)

要看清上半場(chǎng)做對(duì)了什么，就看看什么被成功地?cái)U(kuò)展了，以及是怎么做到的。

先看序列長度。早期Transformer只能處理幾百個(gè)token。要達(dá)到128K+，需要多個(gè)方向上的持續(xù)創(chuàng)新：新的注意力模式（稀疏、線性、混合）、系統(tǒng)工程（FlashAttention）、位置編碼的進(jìn)步（RoPE scaling）。研究者和工程師們共同建造了一整個(gè)生態(tài)，持續(xù)改進(jìn)token之間的通信方式。而回報(bào)頗豐，研究團(tuán)隊(duì)不止能夠處理極其長的文檔，還為OpenAI-O1和DeepSeek-R1的長鏈推理奠定了堅(jiān)實(shí)的基礎(chǔ)。這就是當(dāng)研究團(tuán)隊(duì)認(rèn)真投資于“信息在序列維度上的流動(dòng)方式時(shí)”，所收獲的斐然成果。

△現(xiàn)代LLM中的參數(shù)與數(shù)據(jù)規(guī)模迅速增長

參數(shù)和數(shù)據(jù)的擴(kuò)展是最符合人類直覺的部分。從深度學(xué)習(xí)的最早期開始，每本教科書都在教授同一套配方：更多數(shù)據(jù)、更寬的層、更深的網(wǎng)絡(luò)，自然帶來更好的表征。從GPT-2的15億參數(shù)到如今的數(shù)萬億，這套配方一直管用。這似乎說明大模型團(tuán)隊(duì)不需要引入新機(jī)制，只需要持續(xù)拓展這些被驗(yàn)證了的方向。

只不過，對(duì)網(wǎng)絡(luò)而言，更寬和更深往往并不是一回事。寬度的擴(kuò)展是自然而然的：現(xiàn)代GPU天生擅長處理更寬的矩陣乘法，注意力機(jī)制的演進(jìn)越來越高效，這使得更寬的網(wǎng)絡(luò)可以無縫接入現(xiàn)有架構(gòu)。

而深度則是另一個(gè)故事。模型確實(shí)變深了：研究團(tuán)隊(duì)將模型加到32層、64層、甚至100層以上。但層間通信的機(jī)制本質(zhì)上還是ResNet在2015年引入的深度殘差，“x + F(x)”。自它誕生以來，圍繞它有過不少改良（歸一化位置、殘差縮放、跨層連接），但沒有任何改良真正取代過那個(gè)深度殘差中“+”的決定性地位。

殘差連接可以說是深度學(xué)習(xí)中最重要的基石。沒有它，就沒有100層的Transformer，沒有現(xiàn)代LLM，沒有scaling law。但基礎(chǔ)性方案有一個(gè)特點(diǎn)：它們有時(shí)會(huì)變得太過隱形，以至于沒人再去質(zhì)疑它到底是最優(yōu)解，還是僅僅是研究團(tuán)隊(duì)探索出的第一個(gè)能用的方案。

打個(gè)比方，想象一個(gè)有特殊規(guī)則的傳話游戲。在標(biāo)準(zhǔn)版本里，第1個(gè)人對(duì)第2個(gè)人耳語，第2個(gè)人再對(duì)第3個(gè)人耳語。到第18個(gè)人的時(shí)候，消息已經(jīng)面目全非了。這就是沒有殘差連接的深層網(wǎng)絡(luò)：每一層只能看到上一層的輸出。

殘差連接修復(fù)了這個(gè)問題：每個(gè)人在傳達(dá)自己的理解的同時(shí)，也把之前積累的原始信息原封不動(dòng)地往下傳。第3個(gè)人既能聽到第2個(gè)人的新解讀，也能聽到之前的所有內(nèi)容。原始信號(hào)始終被保留，它成為了不斷壯大的合唱中的一個(gè)聲部。

但到了第152個(gè)人，你同時(shí)在聽152個(gè)聲音：原始信息加上151層疊加上去的內(nèi)容，全部混在一句耳語里。理論上，前面那些人的聲音依然存在，但它們已經(jīng)被淹沒了。如果第152個(gè)人需要知道第3個(gè)人具體說了什么，他得費(fèi)力地從這首宏大的合唱聲中把它挑出來。

△消息累加的傳話游戲中，靠后的人依然難以分辨出所需的內(nèi)容

通常而言，第152個(gè)人是做不到這一點(diǎn)的。

這就是信息稀釋。每一層都面臨兩難：倘若該層貢獻(xiàn)新信息就可能會(huì)掩蓋之前的內(nèi)容，但保守不動(dòng)則能保留之前層傳過來的已有信息。這種狀況下，很多層學(xué)會(huì)了保守不動(dòng)，它們幾乎不往殘差流里寫入任何東西。這樣的深度網(wǎng)絡(luò)在紙面上很深，實(shí)際上卻很淺。研究團(tuán)隊(duì)堆了152層，但其中很多層卻只學(xué)會(huì)了保持沉默。

這里的瓶頸不在于152層網(wǎng)絡(luò)所需求的算力，而在于信息穿過這些層的通信能力。CPU的發(fā)展在幾十年前就撞過同樣的墻：處理器越來越快，直到內(nèi)存帶寬跟不上了，逼得整個(gè)行業(yè)轉(zhuǎn)向緩存和通信。組織管理也一樣：一群聰明人所能發(fā)揮出的創(chuàng)造力，也受限于他們之間的溝通、組織方式。深度學(xué)習(xí)正在經(jīng)歷自己的版本：十年來不斷增強(qiáng)每一層的能力，而層與層之間的通道始終是2015年那條單車道公路。

那么，有沒有更好的機(jī)制？

配方

在本文所介紹的研究之前已經(jīng)有很多研究者注意到了深度瓶頸。多年來，修補(bǔ)方案越來越巧妙：獲評(píng)CVPR best paper的DenseNet保留了每一層的輸出，但代價(jià)是平方級(jí)的開銷。使用可學(xué)習(xí)加權(quán)的方案DenseFormer、LIMe降低了成本，但訓(xùn)練完成后權(quán)重就固定了，每個(gè)token、每套上下文都用同樣的權(quán)重。

字節(jié)跳動(dòng)的Hyper-Connections和DeepSeek的mHC另辟蹊徑，它們把管道拓寬到N個(gè)通道，層間用混合矩陣連接，這相當(dāng)于信息高速公路上同時(shí)多了好幾條車道。但壞消息是，信息仍然在逐層流動(dòng)，第152層沒有辦法直接回溯到第3層。

彩云公司的MUDDFormer讓混合每層輸出這件事變成動(dòng)態(tài)的，它會(huì)根據(jù)每個(gè)token的表征來生成權(quán)重。這在根本方向上是對(duì)的：從每一層汲取多少信息本就應(yīng)該取決于你正在處理的內(nèi)容。但同樣有個(gè)壞消息，第152層在決定從第3層汲取多少時(shí)，只依賴第152層本身的狀態(tài)，它并不知道第3層實(shí)際包含了什么。它是在預(yù)測(cè)哪些層有用，而不是在查看。

以上的每一步都修復(fù)了一個(gè)真實(shí)存在的缺陷，但卻鮮有哪一個(gè)方法質(zhì)疑過深度殘差的框架本身。

不難發(fā)現(xiàn)，這些方法都有著一個(gè)共同點(diǎn)。從DenseNet到Hyper-Connections，每個(gè)方法都在回答同一個(gè)隱含的問題：“如何才能更好地混合各層的輸出？”更好的系數(shù)，更多的通道，自適應(yīng)的權(quán)重。但自始至終都是混合，自始至終都是累加。ELMo早就表明，不同的層編碼的是截然不同的信息：淺層編碼句法，深層編碼語義。所有人得出的結(jié)論都是“學(xué)習(xí)更好的混合權(quán)重用來平衡句法和語義”。但還有一條被主流忽視的道路：如果不同層持有不同信息，也許每一層應(yīng)該能夠根據(jù)內(nèi)容而非位置，從持有所需信息的那一層直接檢索。

這就是范疇謬誤：把層間通信當(dāng)作累加（用學(xué)習(xí)到的或生成的系數(shù)來組合信號(hào)）而非檢索（通過基于內(nèi)容的匹配來選擇信息）。在累加框架下，即使是動(dòng)態(tài)方法也只從當(dāng)前層的狀態(tài)生成混合權(quán)重，而不去查看信息的來源層實(shí)際包含了什么。在檢索框架下，Query（查詢）編碼的是“我需要什么”，Key（鍵）編碼的是“我有什么”，而它們之間的運(yùn)算決定了相關(guān)性。Query和Key雙方都應(yīng)該有發(fā)言權(quán)。

回到傳話游戲。之前所有的方法都在試圖產(chǎn)生一個(gè)更清晰的合唱：更好的發(fā)音、更多的中繼通道、自適應(yīng)的音量。沒有一個(gè)質(zhì)疑過這個(gè)根本約束：所有聲音必須累加成一個(gè)聲音嗎？也沒有人問過：咱是否可以直接走回去，跟之前的任何一個(gè)人當(dāng)面對(duì)話呢？

研究團(tuán)隊(duì)認(rèn)為這種范疇謬誤在架構(gòu)設(shè)計(jì)中無處不在。當(dāng)某個(gè)東西足夠好用的時(shí)候，你不會(huì)去質(zhì)疑它的概念框架，而只會(huì)在框架內(nèi)改進(jìn)。經(jīng)歷了多年越來越巧妙的修補(bǔ)之后，研究者才明白：深度維度的殘差連接需要的不是更好的系數(shù)，而是被一種根本不同的操作所替代：

一種在序列維度上已經(jīng)成功解決了同樣問題的操作。

△ 因果注意力機(jī)制在序列維度（橫向）上聚合信息

下半場(chǎng)

一旦研究團(tuán)隊(duì)把層間的通信理解為檢索而非累加，一個(gè)很自然的答案就是在深度維度上引入注意力機(jī)制。包括研究者團(tuán)隊(duì)在內(nèi)的很多團(tuán)隊(duì)都獨(dú)立地收斂到了這個(gè)想法：谷歌提出的 DCA、華為的MRLA、Hessian.AI的 Dreamer、Kimi的AttnRes、以及研究者團(tuán)隊(duì)提出的Flash Depth Attention & MoDA，大家都嘗試在層間應(yīng)用點(diǎn)積注意力。這種獨(dú)立趨同本身就是一個(gè)信號(hào)：方向走對(duì)了！

△ 深度注意力機(jī)制在深度維度（縱向）上聚合信息

但找對(duì)方向和做出成品是兩回事。研究者自述：“第一次用Pytorch實(shí)現(xiàn)運(yùn)行深度注意力的時(shí)候，前向和反向傳播共計(jì)耗時(shí)達(dá)到了44,924 ms。44秒啊！朋友們！這個(gè)時(shí)間都?jí)蛭液韧暌黄?00毫升的冰紅茶了！”
也就是說，在深度維度上應(yīng)用注意力機(jī)制的想法本身沒問題，但工程現(xiàn)實(shí)卻殘酷到了極點(diǎn)。現(xiàn)代GPU為大規(guī)模的矩陣乘法做了大量優(yōu)化，卻不擅長數(shù)千個(gè)跨深度的極小規(guī)模的注意力操作。深度注意力作為一個(gè)計(jì)算量不大的算法，跑起來卻可能慢得要命。

△Pytorch實(shí)現(xiàn)的深度注意力（DepthRef）很慢；Flash Depth Attention（FDA）很快。

至此，之前的方法都陷入了兩難：要么簡化深度注意力來換速度，這種方式丟掉了完整的選擇性檢索這一核心價(jià)值；要么保持完整的表達(dá)能力，但運(yùn)算代價(jià)變得不可接受。研究者團(tuán)隊(duì)找到了一條出路：不是簡化算法，而是重新組織參與計(jì)算的數(shù)據(jù)布局，從而適配GPU硬件。Flash Depth Attention（
https://github.com/hustvl/MoDA）讓具備完整表達(dá)能力的深度檢索快到可以參與實(shí)際訓(xùn)練。

△混合深度注意力機(jī)制同時(shí)在序列維度（橫向）和深度維度（縱向）上聚合信息

常規(guī)的大模型主干流水線是：殘差連接→序列注意力→殘差連接→FFN（前饋網(wǎng)絡(luò)）。

有了高效的深度檢索之后，研究團(tuán)隊(duì)注意到網(wǎng)絡(luò)的主干流水線變成了：深度注意力→序列注意力→深度注意力→FFN（前饋網(wǎng)絡(luò)）。這三個(gè)連續(xù)的注意力操作作用于不同的Key（鍵，縮寫作K）和Value（值，縮寫作V），卻共享著近乎相同的Query（查詢）。一個(gè)很自然的做法就是把它們?nèi)诤稀?/p>

研究者團(tuán)隊(duì)提出了混合深度注意力（Mixture-of-depths Attention，MoDA）將深度檢索和序列檢索合并到一個(gè)統(tǒng)一的softmax中。每個(gè)注意力頭同時(shí)關(guān)注當(dāng)前層的序列KV對(duì)（鍵值對(duì)）和所有前序?qū)拥纳疃菿V對(duì)（鍵值對(duì)）。在同一個(gè)softmax 下，模型可以自由決定何時(shí)關(guān)注序列中的其他token，何時(shí)跨層檢索自身的歷史信息。通過一次操作，MoDA完成了兩個(gè)維度的檢索。

△左側(cè)區(qū)域是序列KV，右側(cè)區(qū)域是深度KV。顏色越黃，注意力越強(qiáng)。

回到傳話游戲。在殘差連接的版本里，第152個(gè)人費(fèi)力地從累加的合唱中辨認(rèn)第3個(gè)人的聲音。有了深度檢索，第152個(gè)人拍拍第3個(gè)人的肩膀直接問：“你剛才說了什么？”沒有中間人，沒有累積的噪音。

可視化的實(shí)驗(yàn)結(jié)果也印證了這個(gè)類比所預(yù)測(cè)的現(xiàn)象：當(dāng)模型獲得了通過深度KV從特定層進(jìn)行選擇性檢索的能力時(shí)，它會(huì)持續(xù)且主動(dòng)地使用這種能力。之前困擾模型架構(gòu)研究員們的Attention Sink（注意力沉沒）現(xiàn)象，即模型把概率質(zhì)量堆積在少數(shù)固定token上的行為，也隨之減弱。這就是當(dāng)研究者團(tuán)隊(duì)嘗試發(fā)展層之間而非僅僅層之內(nèi)的信息流動(dòng)時(shí)，所取得的有趣成果。

△引入深度注意力后，傳話游戲允許每個(gè)人用手機(jī)查看群聊記錄。

大模型架構(gòu)的上半場(chǎng)是關(guān)于擴(kuò)展組件的。研究者們擴(kuò)展出更長的序列，更多的數(shù)據(jù)，更大的模型。這個(gè)階段最關(guān)鍵的問題是“怎么把一切都做大？”。在上半場(chǎng)，這是正確且關(guān)鍵的問題，它把整個(gè)領(lǐng)域從GPT-2帶到了GPT-4時(shí)代。下半場(chǎng)是關(guān)于擴(kuò)展通信的。新的問題是：“組件之間的通信質(zhì)量如何？”

△引入混合深度注意力后，在主流的開源基線（OLMo2）上全面提升了模型能力。

深度是最明顯的例子，因?yàn)楝F(xiàn)有方案（累加）和可能的方案（選擇性檢索）之間的差距是巨大的。研究者團(tuán)隊(duì)相信這個(gè)原則是可以推廣的。凡是神經(jīng)網(wǎng)絡(luò)使用靜態(tài)的、與數(shù)據(jù)無關(guān)的通道來傳遞信息的地方，包括層與層之間、模態(tài)與模態(tài)之間、時(shí)間步與時(shí)間步之間等等，很可能都會(huì)有一個(gè)檢索機(jī)制等著替代那個(gè)累加操作。

全世界的研究者們花了十年掌握token之間如何對(duì)話，現(xiàn)在是時(shí)候掌握層與層之間如何對(duì)話了。而最終，研究者們將掌握神經(jīng)網(wǎng)絡(luò)中每個(gè)組件如何與其他任意組件對(duì)話。

深度殘差的“+”帶我們跑過了一段極為精彩的旅程，但現(xiàn)在，是時(shí)候升級(jí)這座階梯了。

歡迎來到大模型架構(gòu)的下半場(chǎng)。

Flash Depth Attention & MoDA論文鏈接：

https://arxiv.org/abs/2603.15619

Flash Depth Attention & MoDA代碼鏈接：

https://github.com/hustvl/MoDA

實(shí)驗(yàn)室主頁：

https://github.com/hustvl

論文主要作者來自于華中科技大學(xué)（HUST）電子信息與通信學(xué)院視覺實(shí)驗(yàn)室（Vision Lab）。HUST Vision Lab研究主要集中在計(jì)算機(jī)視覺和深度學(xué)習(xí)領(lǐng)域，尤其關(guān)注以下方向：多模態(tài)基礎(chǔ)模型、視覺表征學(xué)習(xí)、目標(biāo)檢測(cè)、分割與跟蹤、端到端自動(dòng)駕駛、新型神經(jīng)網(wǎng)絡(luò)架構(gòu)。

HUST Vision Lab致力于不斷突破視覺智能的邊界，代表性工作包括：CCNet（TPAMI 2020，4300+引用，1.5K Star）、Mask Scoring R-CNN（CVPR 2019，1400+引用，1.9K Star）、FairMOT（IJCV 2021，2200+引用，4.2K Star）、ByteTrack（ECCV 2022，3400+引用，6.2K Star）、EVA（CVPR 2023，1100+引用，2.7K Star）、MapTR（ICLR 2023，400+引用，1.5K Star）、Vectorized Autonomous Driving (VAD)（ICCV 2023，600+引用，1.3K Star）、DiffusionDrive（CVPR 2025，200+引用，1.3K Star）、Vision Mamba (Vim)（ICML 2024，3100+引用，3.8K Star）、4D Gaussian Splatting (4DGS)（CVPR 2024，1400+引用，3.5K Star）、YOLOS（NeurIPS 2021，500+引用，900+ Star）、YOLO-World（CVPR 2024，1000+引用，6.3K Star），以及 LightningDiT & VA-VAE（CVPR 2025，200+引用，1.4K Star）。