香農(nóng)、信息論、AI、Scaling Law，以及信息的觀察者效應

之前寫DeepSeek R1論文解讀的時候，有個細節(jié)我一直沒想通。

他們的Cold Start流程是用R1-Zero生成推理軌跡，過濾后當訓練數(shù)據(jù)。這就是合成數(shù)據(jù)。但按信息論的說法，這不應該有用。數(shù)據(jù)處理不等式說得很清楚：對數(shù)據(jù)做確定性變換，信息只會減少不會增加。你沒引入新數(shù)據(jù)，信息從哪來？

但它就是有用。效果比純?nèi)祟悩俗?shù)據(jù)還好。

不止DeepSeek。AlphaZero從幾KB的圍棋規(guī)則自我對弈，生成了百萬字節(jié)的戰(zhàn)略知識。整個AI行業(yè)都在大規(guī)模使用合成數(shù)據(jù)，而且越用越多。理論說不行，實踐說行。

這個矛盾困擾我挺久的。直到最近讀到CMU和NYU的一篇論文，叫《From Entropy to Epiplexity》。它提出了一個新概念，核心觀點就一句話：信息不是數(shù)據(jù)的固有屬性，而是取決于誰在看、用多少算力去看。

這不只解釋了合成數(shù)據(jù)的問題。它還回答了幾個做AI的人一直憑直覺知道但說不清楚的事：為什么數(shù)據(jù)質(zhì)量比數(shù)據(jù)量重要？為什么LLM的泛化能力遠強于視覺模型？為什么訓練數(shù)據(jù)的順序會影響效果？

香農(nóng)忽略了什么

要理解這些，得先看看經(jīng)典信息論到底假設了什么。

1948年，克勞德·香農(nóng)發(fā)表了《通信的數(shù)學理論》。他用熵這個概念，第一次精確定義了信息的度量方式。從電報到WiFi到5G，整個現(xiàn)代通信的理論基礎都是這篇論文。

但香農(nóng)的框架有一個隱含假設，很少有人注意到：

它假設觀察者的計算能力是無限的。

在通信領(lǐng)域，這沒問題。發(fā)送端編碼、接收端解碼，編解碼器的算力不是瓶頸。但如果觀察者是一個正在學習的神經(jīng)網(wǎng)絡呢？它的參數(shù)量有限，訓練時間有限，算力有限。這時候，香農(nóng)的框架就出現(xiàn)了裂縫。

具體來說，經(jīng)典信息論有三條推論。乍一聽都很合理，但做AI的人會覺得哪里不對：

一、確定性變換不能創(chuàng)造信息（數(shù)據(jù)處理不等式）。

二、信息和數(shù)據(jù)的排列順序無關(guān)。

三、如果模型完美匹配了數(shù)據(jù)分布，它就學會了數(shù)據(jù)中的一切。

每一條，在AI實踐中都被證明是錯的。第一條的反例開頭已經(jīng)說了——合成數(shù)據(jù)不應該有用，但它就是有用。后面兩條也一樣站不住腳。

倒著讀一本書，信息一樣多？

香農(nóng)信息論和柯爾莫哥洛夫復雜度都認為，信息的度量與數(shù)據(jù)排列順序無關(guān)。一篇從前往后寫的英文文章和同一篇字母倒過來排列的文章，「信息量」應該完全相同。

但做過大模型訓練的人知道，從左到右讀英文的訓練效果，明顯好于倒著讀。

密碼學給了一個更極端的例子。RSA加密的核心是：兩個大素數(shù)相乘很容易，一步就算完。但從乘積反推回兩個素數(shù)？目前沒有已知的高效算法。

同樣的信息，一個方向輕松提取，另一個方向幾乎不可能。

如果信息真的和順序無關(guān)，這種不對稱性不應該存在。

4條規(guī)則能涌現(xiàn)出多少知識

第三個悖論可能是最有意思的。

經(jīng)典觀點說，如果一個模型完美匹配了訓練數(shù)據(jù)的概率分布（困惑度最低），它就「學會了」數(shù)據(jù)中的所有信息。

但Conway的生命游戲只有4條簡單規(guī)則：細胞根據(jù)鄰居數(shù)量存活或死亡。就這4條。從這4條規(guī)則出發(fā)，會涌現(xiàn)出滑翔機（glider）、振蕩器（oscillator）等各種復雜的動態(tài)結(jié)構(gòu)。

這些結(jié)構(gòu)不在規(guī)則里。你盯著規(guī)則看，怎么看都看不出來會有「滑翔機」這種東西。但它們確實存在，而且是可學習的模式。一個足夠強的模型，能從這4條規(guī)則中學到遠比規(guī)則本身豐富得多的知識。

三個悖論指向同一個漏洞：經(jīng)典信息論沒有考慮觀察者的計算能力。

信息取決于誰在看

今年1月，CMU和NYU的六位研究者發(fā)了一篇論文，叫《From Entropy to Epiplexity》。作者之一Andrew Gordon Wilson說他們研究了近兩年，「抑制不住地興奮」。

說實話，「信息取決于觀察者算力」這個直覺不算全新。2020年的V-information論文就證明了計算約束下信息可以被「創(chuàng)造」，直接違反了DPI。更早的1988年，Bennett提出過邏輯深度（logical depth），1996年物理學家Gell-Mann提出過有效復雜度（effective complexity），都從不同角度摸到了類似的東西。ML社區(qū)在實踐中也早就知道特征工程和數(shù)據(jù)增強能提升性能，跟DPI矛盾，只是沒人太在意理論解釋。

但之前的工作更像是散落的碎片，各自解釋一個側(cè)面。這篇論文的價值在于把這些直覺整合成了一套完整框架，同時覆蓋合成數(shù)據(jù)、數(shù)據(jù)排序、涌現(xiàn)等多個現(xiàn)象，而且給出了可操作的測量方法。不只是說「有這么回事」，而是說「怎么量、怎么用」。

他們的核心思路很優(yōu)雅：把數(shù)據(jù)中的信息拆成兩部分。

第一部分叫 Epiplexity（認知復雜度）。在給定算力范圍內(nèi)，觀察者能從數(shù)據(jù)中提取的可學習結(jié)構(gòu)。

第二部分叫 Time-bounded Entropy（時間有界熵）。在給定算力范圍內(nèi)，看起來像隨機噪聲的那部分。

關(guān)鍵來了：同一份數(shù)據(jù)，對不同算力的觀察者，這兩個量是不同的。

算力越強，能看到的結(jié)構(gòu)越多（epiplexity升高），噪聲變少（entropy降低）。算力越弱，結(jié)構(gòu)藏在「看不見」的地方，整個數(shù)據(jù)更像噪聲。

打個比方。同一本醫(yī)學教材，對醫(yī)學生來說，里面滿是可學習的結(jié)構(gòu)（高epiplexity）——癥狀和疾病之間的關(guān)聯(lián)、用藥邏輯、鑒別診斷的決策樹。對小學生來說，同樣的內(nèi)容大部分看起來像噪聲（高entropy，低epiplexity）。數(shù)據(jù)沒變。變的是觀察者的「算力」。

對AI模型也一樣。同一份訓練數(shù)據(jù)，GPT-2和GPT-4能從中提取的結(jié)構(gòu)量完全不同。不是數(shù)據(jù)變了，是模型的算力變了。

密碼學給了一個特別漂亮的驗證。偽隨機數(shù)生成器產(chǎn)生的序列，多項式時間的觀察者幾乎不可能與真隨機數(shù)區(qū)分。所以它的time-bounded entropy接近最大值（看起來全是噪聲），但epiplexity幾乎為零（沒有可學習的結(jié)構(gòu)）。

翻譯成人話：你的算力不夠，你就發(fā)現(xiàn)不了數(shù)據(jù)里的規(guī)律。對你來說，它就是噪聲。

這不是一個哲學觀點。論文給出了嚴格的數(shù)學定義和證明。

這把尺子量出了什么

理論漂亮是一回事，能不能用是另一回事。研究者拿這個框架實際測量了，結(jié)果挺值得說。

文本數(shù)據(jù)的epiplexity遠高于圖像數(shù)據(jù)。

這可能是第一次從信息論角度解釋「為什么語言模型比視覺模型泛化更強」。文本里藏著更密集的可學習結(jié)構(gòu)，所以LLM學到的東西能遷移到更多下游任務。我們直覺上一直知道，但缺少理論解釋。

他們還用國際象棋做了實驗。用不同數(shù)據(jù)集預訓練模型，測試在從未見過的棋局上的表現(xiàn)。結(jié)果很清楚：高epiplexity數(shù)據(jù)集訓練出的模型，在新棋局上明顯更強。

更實用的是，測量方法出奇簡單。

他們提出了一種叫 prequential coding 的估計方法，核心思想是看訓練損失曲線。損失從高到低下降的「面積」越大，說明模型從數(shù)據(jù)中學到了越多結(jié)構(gòu)，epiplexity越高。

你不需要復雜的數(shù)學推導。看訓練曲線，就能大致判斷數(shù)據(jù)質(zhì)量。

回到那個問題

前面三個悖論現(xiàn)在都能解釋了。

合成數(shù)據(jù)為什么有用？因為數(shù)據(jù)處理不等式假設了無限算力的觀察者。對無限算力來說，確定性變換確實不增加信息。但對有限算力的模型來說，一個好的合成過程可以把隱藏的結(jié)構(gòu)變成可學習的結(jié)構(gòu)，提高epiplexity。

數(shù)據(jù)順序為什么重要？因為有限算力的觀察者從不同方向提取信息的難度是不對稱的。從左到右和從右到左，對無限算力沒區(qū)別，但對有限算力有巨大差異。

涌現(xiàn)為什么發(fā)生？因為有限算力的觀察者能發(fā)現(xiàn)生成規(guī)則本身沒有明確包含的模式。規(guī)則簡單，但規(guī)則運行的結(jié)果中蘊含的可學習結(jié)構(gòu)遠超規(guī)則本身。

飛輪還在轉(zhuǎn)嗎

之前寫Ilya Sutskever那篇文章時，他說：「2020到2025是規(guī)模時代，但現(xiàn)在規(guī)模已經(jīng)夠大了。」很多人覺得scaling law快到頭了，原因很簡單：世界上的高質(zhì)量文本數(shù)據(jù)快用完了。

但這引出了一個更大膽的問題：如果更好的模型能生成更好的合成數(shù)據(jù)，更好的合成數(shù)據(jù)又能訓練出更好的模型，這個飛輪能一直轉(zhuǎn)下去嗎？

直覺上覺得不行。合成數(shù)據(jù)不能憑空創(chuàng)造關(guān)于真實世界的新知識。AlphaZero學到的所有戰(zhàn)略，本質(zhì)上都是圍棋規(guī)則的推論，不是新的物理定律。你不可能靠AI生成數(shù)據(jù)來教AI它不知道的事實。這像是踩著自己的腳想把自己舉起來。

但epiplexity給了一個不同的視角。

合成數(shù)據(jù)做的事情不是「增加知識」，而是「提高結(jié)構(gòu)密度」。你有一本沒目錄、沒索引的百科全書。一個好的合成過程相當于給它重新排版、標注重點、加上交叉引用。信息沒變，但對有限算力的讀者來說，可學習的結(jié)構(gòu)變多了。epiplexity提高了。

所以飛輪可能還在。只是驅(qū)動它的東西變了：從「更多的數(shù)據(jù)」變成「更高密度的結(jié)構(gòu)」。不是加油，是換擋。

不過有一個關(guān)鍵前提：你需要一種方法來驗證合成數(shù)據(jù)的質(zhì)量。代碼可以編譯運行，數(shù)學可以形式化證明，所以這兩個領(lǐng)域的合成飛輪最先跑通了。Demis Hassabis也說過，代碼和數(shù)學可以靠合成數(shù)據(jù)無限生成訓練素材，正是因為有自動驗證。

沒有驗證機制的領(lǐng)域呢？模型生成的「知識」可能只是幻覺。這時候合成數(shù)據(jù)不但不增加epiplexity，反而引入noise。Nature上那篇model collapse論文就是這個警告：純合成數(shù)據(jù)訓練，模型會不可避免地退化。

所以更準確地說：飛輪能不能轉(zhuǎn)，取決于你有沒有驗證器。有驗證器的領(lǐng)域（代碼、數(shù)學、游戲），踩自己的腳上天是可能的。沒有驗證器的領(lǐng)域，自舉大概率坍縮。

所有人都在說data quality matters，但一直沒人能精確定義什么是quality。Epiplexity給了一個候選答案：高epiplexity的數(shù)據(jù)就是高質(zhì)量的數(shù)據(jù)。而驗證器，是確保合成數(shù)據(jù)確實有高epiplexity的守門員。

Karpathy之前在訪談里說過一個觀點，我印象很深：人類記憶差，反而是優(yōu)勢。因為記憶力不好，迫使人類去尋找模式，而不是死記硬背。LLM的問題恰恰相反，過度記憶，反而忽略了可以泛化的規(guī)律。

用epiplexity的語言重新說這句話：人類的有限算力反而迫使我們只提取高epiplexity的結(jié)構(gòu)，忽略noise。而LLM的巨大參數(shù)量讓它可以把noise也記住，結(jié)果反而泛化變差。

費曼說過：「如果你不能簡單地解釋它，說明你還不理解它。」

我做了兩年多內(nèi)容，最大的體會是邊學、邊做、邊分享形成的飛輪。當你試圖教別人一個概念，費曼學習法會逼你把東西梳理得更清楚。現(xiàn)在我覺得這個過程可以用一個更精確的詞來描述：你在用有限的算力（時間、注意力、已有知識），從數(shù)據(jù)中提取結(jié)構(gòu)。提取得越多，你就越「理解」了這個東西。

同一份數(shù)據(jù)，不同的人看到不同的信息。這不是雞湯。這是一個數(shù)學事實。

只是信息論花了70年才真正意識到它。

論文地址：https://arxiv.org/abs/2601.03220