MI-Peaks用互信息追蹤，首次捕捉大模型推理“信息高峰”

始智AI wisemodel.cn社區(qū)是源自中國的中立開放的AI開源社區(qū)。正在，歡迎加入共同成長。

你肯定見過大模型在解題時「裝模作樣」地輸出：「Hmm…」、「Wait, let me think」、「Therefore…」這些看似「人類化」的思考詞。但一個靈魂拷問始終存在：這些詞真的代表模型在「思考」，還是僅僅為了「表演」更像人類而添加的語言裝飾？是模型的「頓悟時刻」，還是純粹的「煙霧彈」？

來自中國人民大學(xué)高瓴人工智能學(xué)院、上海人工智能實(shí)驗(yàn)室、倫敦大學(xué)學(xué)院（UCL）和大連理工大學(xué)的聯(lián)合研究團(tuán)隊(duì)，在最新論文中首次利用信息論這把「手術(shù)刀」，精準(zhǔn)解剖了大模型內(nèi)部的推理動態(tài)，給出了令人信服的答案：當(dāng)這些「思考詞」出現(xiàn)的瞬間，模型大腦（隱空間）中關(guān)于正確答案的信息量，會突然飆升數(shù)倍！

這絕非偶然裝飾，而是真正的「信息高峰」與「決策拐點(diǎn)」！更酷的是，基于這一發(fā)現(xiàn)，研究者提出了無需額外訓(xùn)練就能顯著提升模型推理性能的簡單方法，代碼已開源已上線始智AI-wisemodel開源社區(qū)，歡迎使用。

代碼地址

https://wisemodel.cn/codes/actor/MI-Peaks/intro

01.

揭秘大模型推理軌跡“信息高峰”

研究者們追蹤了像 DeepSeek-R1 系列蒸餾模型、QwQ 這類擅長推理的大模型在解題時的「腦電波」（隱空間表征）。他們測量每一步的「腦電波」與最終正確答案的互信息（Mutual Information, MI），并觀察這些互信息如何演繹變化。

驚人現(xiàn)象出現(xiàn)了：模型推理并非勻速「爬坡」，而是存在劇烈的「信息脈沖」！在特定步驟，互信息值會突然、顯著地飆升，形成顯著的「互信息峰值」（MI Peaks）現(xiàn)象。這些峰值點(diǎn)稀疏但關(guān)鍵，如同黑暗推理路徑上突然點(diǎn)亮的強(qiáng)光路標(biāo)！

這意味著什么？直覺上，這些互信息峰值點(diǎn)處的表征，模型大腦中那一刻的狀態(tài)，蘊(yùn)含了更多指向正確答案的最關(guān)鍵信息！

進(jìn)一步地，研究者通過理論分析證明（定理 1 & 2），推理過程中積累的互信息越高，模型最終回答錯誤概率的上界和下界就越緊，換言之，回答正確的概率就越高！

既然互信息峰值的現(xiàn)象較為普遍地出現(xiàn)在推理模型（LRMs）中，那么非推理模型（non-reasoning LLMs）上也會表現(xiàn)出類似的現(xiàn)象嗎？

為了探索這一問題，研究者選取了 DeepSeek-R1-Distill 系列模型和其對應(yīng)的非推理模型進(jìn)行實(shí)驗(yàn)。如上圖橙色線所示，在非推理模型的推理過程中，互信息往往表現(xiàn)出更小的波動，體現(xiàn)出明顯更弱的互信息峰值現(xiàn)象，且互信息的數(shù)值整體上更小。

這表明在經(jīng)過推理能力強(qiáng)化訓(xùn)練后，推理模型一方面似乎整體在表征中編碼了更多關(guān)于正確答案的信息，另一方面催生了互信息峰值現(xiàn)象的出現(xiàn)！

02.

“思考詞匯”=“信息高峰”的語言化身

那么，這些互信息峰值點(diǎn)處的表征，到底蘊(yùn)含著怎樣的語義信息？

神奇的是，當(dāng)研究者把這些「信息高峰」時刻的「腦電波」翻譯回人能看懂的語言（解碼到詞匯空間）時，發(fā)現(xiàn)它們最常對應(yīng)的，恰恰是那些標(biāo)志性的「思考詞」：

• 反思/停頓型：「Hmm」、「Wait」…

• 邏輯/過渡型：「Therefore」、「So」…

• 行動型：「Let」、「First」…

例如，研究者隨機(jī)摘取了一些模型輸出： 「Wait, let me think differently. Let’s denote...,」 「Hmm, so I must have made a mistake somewhere. Let me double-check my calculations. First, ...」

研究團(tuán)隊(duì)將這些在互信息峰值點(diǎn)頻繁出現(xiàn)、承載關(guān)鍵信息并在語言上推動模型思考的詞匯命名為「思考詞匯」（thinking tokens）。它們不是可有可無的裝飾，而是信息高峰在語言層面的「顯靈」，可能在模型推理路徑上扮演著關(guān)鍵路標(biāo)或決策點(diǎn)的角色！

為了證明這些 tokens 的關(guān)鍵性，研究者進(jìn)行了干預(yù)實(shí)驗(yàn)，即在模型推理時抑制這些思考詞匯的生成。

實(shí)錘驗(yàn)證：實(shí)驗(yàn)結(jié)果顯示，抑制思考詞匯的生成會顯著影響模型在數(shù)學(xué)推理數(shù)據(jù)集（如 GSM8K、MATH、AIME24）上的性能；相比之下，隨機(jī)屏蔽相同數(shù)量的其他普通詞匯，對性能影響甚微。這表明這些存在于互信息峰值點(diǎn)處的思考詞匯，確實(shí)對模型有效推理具有至關(guān)重要的作用！

03.

無需訓(xùn)練，巧用“信息高峰”提升推理性能

理解了「信息高峰」和「思考詞匯」的奧秘，研究者提出了兩種無需額外訓(xùn)練即可提升現(xiàn)有 LRMs 推理性能的實(shí)用方法。

應(yīng)用一：表征訓(xùn)話

啟發(fā)：既然 MI 峰值點(diǎn)的表征蘊(yùn)含豐富信息，何不讓模型「多咀嚼消化」一下？

方法：在模型推理過程中，當(dāng)檢測到生成了思考詞匯時，不急于讓其立刻輸出，而是將其對應(yīng)的表征重新輸入到模型中進(jìn)行額外一輪計算，讓模型充分挖掘利用表征中的豐富信息。

效果：在多個數(shù)學(xué)推理基準(zhǔn)（GSM8K、MATH500、AIME24）上，RR 方法一致地提升了 LRMs 的推理性能。例如，在極具挑戰(zhàn)性的 AIME24 上，DeepSeek-R1-Distill-LLaMA-8B 的準(zhǔn)確率相對提升了 20%！這表明讓模型更充分地利用這些高信息量的「頓悟」表征，能有效解鎖其推理潛力。

應(yīng)用二：基于思考詞匯的測試時拓展

啟發(fā)：在推理時如果允許模型生成更多 token（增加計算預(yù)算），如何引導(dǎo)模型進(jìn)行更有效的「深度思考」，而不是漫無目的地延伸？

方法：受啟發(fā)于前人工作，作者在模型完成初始推理輸出后，如果還有 token 預(yù)算，則強(qiáng)制模型以「思考詞匯」開頭（如「Therefore」、「So」、「Wait」、「Hmm」等）繼續(xù)生成后續(xù)內(nèi)容，引導(dǎo)模型在額外計算資源下進(jìn)行更深入的推理。

效果：當(dāng) token 預(yù)算增加時，TTTS 能持續(xù)穩(wěn)定地提升模型的推理性能。如圖所示，在 GSM8K 和 MATH500 數(shù)據(jù)集上，在相同的 Token 預(yù)算下，TTTS 持續(xù)優(yōu)于原始模型。在 AIME24 數(shù)據(jù)集上，盡管原始模型的性能在早期提升得較快，但當(dāng) token 預(yù)算達(dá)到 4096 后，模型性能就到達(dá)了瓶頸期；而 TTTS 引導(dǎo)下的模型，其性能隨著 Token 預(yù)算的增加而持續(xù)提升，并在預(yù)算達(dá)到 6144 后超越了原始模型。

04.

總結(jié)

這項(xiàng)研究首次揭示了 LRMs 推理過程中的動態(tài)機(jī)制：通過互信息動態(tài)追蹤，首次清晰觀測到 LRMs 推理過程中的互信息峰值（MI Peaks）現(xiàn)象，為理解模型「黑箱」推理提供了創(chuàng)新視角和實(shí)證基礎(chǔ)。

進(jìn)一步地，研究者發(fā)現(xiàn)這些互信息峰值處的 token 對應(yīng)的是表達(dá)思考、反思等的「思考詞匯」（Thinking Tokens），并通過干預(yù)實(shí)驗(yàn)驗(yàn)證了這些 token 對模型推理性能具有至關(guān)重要的影響。

最后，受啟發(fā)于對上述現(xiàn)象的理解和分析，研究者提出了兩種簡單有效且無需訓(xùn)練的方法來提升 LRMs 的推理性能，即表征循環(huán)（Representation Recycling - RR）和基于思考詞匯的測試時擴(kuò)展（Thinking Token based Test-time Scaling - TTTS）。

研究者希望這篇工作可以為深入理解 LRMs 的推理機(jī)制提供新的視角，并進(jìn)一步提出可行的方案來進(jìn)一步推升模型的推理能力。

劉勇，中國人民大學(xué)，長聘副教授，博士生導(dǎo)師，國家級高層次青年人才。長期從事機(jī)器學(xué)習(xí)基礎(chǔ)理論研究，共發(fā)表論文 100 余篇，其中以第一作者/通訊作者發(fā)表頂級期刊和會議論文近 50 篇，涵蓋機(jī)器學(xué)習(xí)領(lǐng)域頂級期刊 JMLR、IEEE TPAMI、Artificial Intelligence 和頂級會議 ICML、NeurIPS 等。

編輯：成蘊(yùn)年

----- END -----

wisemodel相關(guān)：

系列模型：

關(guān)于wisemodel更多

1

歡迎持續(xù)關(guān)注和支持

開源社區(qū)建設(shè)需要長期堅持和投入，更需要廣大用戶的積極參與、貢獻(xiàn)和維護(hù)，歡迎大家加入wisemodel開源社區(qū)的志愿者計劃和開源共創(chuàng)計劃。期待更多開發(fā)者將開源成果，包括模型、數(shù)據(jù)集和代碼等發(fā)布到 wisemodel.cn 社區(qū)，共建中立、開放的AI開源社區(qū)生態(tài)。歡迎掃碼添加wisemodel微信，申請加入wisemodel社群，持續(xù)關(guān)注wisemodel.cn開源社區(qū)動態(tài)。

2

歡迎加盟wisemodel開源社區(qū)

始智AI wisemodel社區(qū)自2023年9月上線以來，逐漸成為影響力日益擴(kuò)大的中立開放的AI開源社區(qū)，為了加快公司發(fā)展，我們長期需要技術(shù)、運(yùn)營等人才加盟，技術(shù)側(cè)重在AI infra、后端開發(fā)，熟悉K8S、模型訓(xùn)練和推理等技術(shù)， 以及熟悉開發(fā)者生態(tài)運(yùn)營的成員，歡迎感興趣的朋友加盟，可以通過添加wisemodel微信，或者將簡歷投遞到郵箱：liudaoquan@wisemodel.cn

3

歡迎投稿優(yōu)質(zhì)內(nèi)容

歡迎投稿分享人工智能領(lǐng)域相關(guān)的優(yōu)秀研究成果，鼓勵高校實(shí)驗(yàn)室、大企業(yè)研究團(tuán)隊(duì)、個人等，在wisemodel平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是AI領(lǐng)域最新論文解讀、最新開源成果介紹，也可以是關(guān)于AI技術(shù)實(shí)踐、應(yīng)用和總結(jié)等。投稿可以發(fā)郵件到liudaoquan@wisemodel.cn，也可以掃碼添加wisemodel微信。

4

關(guān)于wisemodel開源社區(qū)

始智AI wisemodel.cn開源社區(qū)由清華校友總會AI大數(shù)據(jù)專委會副秘書長劉道全創(chuàng)立，旨在打造和建設(shè)中立開放的AI開源創(chuàng)新社區(qū)，將打造成“HuggingFace”之外最活躍的AI開源社區(qū)，匯聚主要AI開源模型、數(shù)據(jù)集和代碼等，歡迎高校科研院所、大型互聯(lián)網(wǎng)公司、創(chuàng)新創(chuàng)業(yè)企業(yè)、廣大個人開發(fā)者，以及政府部門、學(xué)會協(xié)會、聯(lián)盟、基金會等，還有投資機(jī)構(gòu)、科技媒體等，共同參與建設(shè)AI開源創(chuàng)新生態(tài)。

向上滑動查看