太瘋了！MIT博士在Transformer里造計算機，攻破LLM終極缺陷

新智元報道

編輯：KingHZ Aeneas

【新智元導讀】炸裂！就在剛剛，一位MIT博士，在Transformer里造出個計算機。現在，模型一舉洗刷「9.11與9.9哪個大」的恥辱，幾秒內運行數百萬步程序，世界最難數獨準確率100%！大模型的能力邊界，從此徹底改變。

就在剛剛，AI圈被一項暴力美學般的突破，徹底震碎了三觀。

一位MIT博士，在Transformer里，直接造出了個計算機！

注意，不是外掛插件，不是調用工具（Tool Use），而是通過一種近乎瘋狂的硬編碼方式，將一個WebAssembly (WASM) 解釋器無損地（Losslessly）嵌入到了Transformer模型的權重之中。

這位博士老哥，是真的把LLM玩出硬件感了

這意味著，從此LLM不再是靠概率預測下一個智元（Token）的文字游戲機，而是進化成了一臺真正的數字計算機。

如果你以為，LLM現在還算不清「9.11與9.9哪個大」，現在，你的認知將被徹底粉碎！

現在，這篇帖子已經在X上熱轉，引來眾多開發者大神的瘋狂點贊。

可以說，它一舉洗刷了大模型3年以來的「恥辱」。

「Vibe Coding」之父、大神Karpathy直接驚呼：這項研究太棒了，實在是令人深受啟發！

LLM終極弱點，被徹底攻破

作為一種新類型的智能，大模型能解研究級難題，但不借助外部工具，卻幾乎不可能完成兩個數相乘或解個小數獨。

那么，如何讓LLM本身變得像計算機一樣可靠高效？

答案是：在Transformer內部實實在在地構建一臺計算機。

雅典大學副教授、MIT博士Christos Tzamos及其Percepta團隊將任意C代碼轉化為智元（Token），讓模型自己能可靠執行，在幾秒內運行數百萬步。

鏈接：https://www.percepta.ai/blog/can-llms-be-computers

通過匈牙利算法，它解決了一個多步優化問題，即求解最小成本完美匹配，運作方式如下。

在這個過程中，AI并不調用外部工具。

所有計算都是在Transformer內部以自回歸的方式完成的！

這里的難點在于，對于任何實際計算來說，LLM的標準注意力機制太慢了。

為了繞過這一限制，他們發明了一種新的解碼路徑，實現了指數級加速的注意力機制，讓每智元（Token）生成所需的幾乎所有計算量智元（Token），并在CPU上以超過每秒3萬個智元（Token）的速度流式輸出結果。

要知道MacBook M2 Pro的解碼速度才每秒27個智元（token），每秒33000個智元（Token）堪稱火箭般的速度，讓人難以想象！

當然，用LLM的計算速度無法與CPU相比，這項研究的關鍵意義在于賦予LLM內在計算能力，真正教會AI算數，讓它更聰明。

而這項能力與自動研究相結合，未來探索空間更是遠超想象。

網友贊嘆：這才是真正的原生智能！

傳統attention

可以退出歷史舞臺？

注意，這項工作，并不是讓模型更會算，而是讓模型在內部真正執行程序！

不靠外掛，不調用Python，所有計算，都發生在Transformer里。

更離譜的是，這臺「計算機」幾秒就能跑完百萬步的程序。連做最難的數獨，正確率都是100%。

在3分鐘內，它就實現了100%的精確求解

這種方法不僅可用于速度，它可以用于執行任意代碼——就像在AI腦子中塞入了一臺電腦。

按照大V「Rainier」的說法，這個思路有點類似于TI的dsp芯片：ARM負責邏輯思維，dsp專門負責高速數據計算，各取所長。

這也意味著，一種Hybrid LLM架構的全新范式開始出現，其中神經網絡負責推理和理解，嵌入式解釋器/計算引擎負責高精度計算。

于是可以同時兼顧推理能力和確定性計算精度，徹底解決「9.11和9.9哪個大」這個問題。

這個方向走通的話，數值計算、物理模擬、金融建模、密碼學運算，都會發生極大變革。

傳統Attention太慢，根本不適合做計算，而這項研究，直接引爆了Transformer的范式躍遷！

AI最大的恥辱，如今被終結了

三年了。

三年來，每個頂級AI經歷過同一個社死時刻：當你在臺上信心滿滿地演示大模型的超強推理能力，臺下忽然有人舉手提問：「那請問，9.11和9.9哪個大？」

模型回答「9.11 > 9.9」，全場哄堂大笑。

這不是段子，這是真實發生過無數次的事。

2024年，在記者Matt Barnum測試中，基于ChatGPT的學習輔導工具Khanmigo，有時連算術題的答案都拿不準

原因不難理解：Transformer本為理解語言設計的，并非為精確計算設計。

讓大模型做算術，就像讓莎士比亞做會計——他能把財報寫成十四行詩，但數字八成對不上。

AI行業的補丁方案是「外掛工具」：算不了？那就調Python。

這相當于給莎士比亞旁邊放了個計算器。雖然能用，但并不優雅，而且每次調用都打斷推理鏈、增加延遲、引入安全風險。

現在，MIT博士說：別給莎士比亞放計算器了，直接讓他天生就會算數！

他們把一臺完整的WebAssembly虛擬機，硬編碼進了Transformer的權重里。

也就是說，神經網絡的前向傳播過程本身，就等價于執行一臺計算機。

過去AI的恥辱，如今終結了。

不過，但就數獨問題而言，這不是LLM第一次突破。

工程師Aviraj認為Percepta的方法很酷，但他們采取了不同的、更面向具體問題的路徑。

核心區別在于：不將通用編譯產物（如C->WASM）作為模型的學習目標，而是為特定任務設計一個極簡的、領域專用的指令集（PSVM）。

不過，這次看看Christos Tzamos團隊如何在Transformer內部跑起來一臺電腦的。

這個過程的關鍵，就是找到一種方法，來編碼一臺可工作的計算機。

計算：一條只增不減的軌跡

要理解Transformer如何在內部執行程序，不妨用一種稍微不同的方式來思考計算。

想象一個筆記本，計算的每一步都寫在下一行。一旦寫下，前面的行就不能更改；筆記本只會越來越厚。

這驚人地接近自回歸Transformer的工作方式：提示詞是輸入，生成的智元形成不斷增長的軌跡，每個新智元都是通過注意力機制回看少量位置后產生的。

比如，給定一個句子，統計其中動詞的數量是奇數還是偶數。每個軌跡智元恰好關注兩個位置：對應的輸入詞（檢查它是否是動詞）和前一個軌跡智元（讀取當前的奇偶狀態）。

請注意，無論句子有多長，每一步都只需要兩次回看（一次看提示詞，一次看軌跡）。

這正是其中的核心洞察：許多算法都可以表示成這種只增不減的軌跡，每一步只需讀取少量、固定數量的先前位置。

那么，計算能否被表示成一條只增不減的軌跡，且每一步只需回看少量次數呢？

答案是肯定的。

在Christos Tzamos的系統中，AI模型明確地生成了這樣的軌跡。

它生成的智元代表了一個虛擬機的動態狀態：指令指針、內存和棧操作、算術運算、控制流以及輸出。

AI只需通過回看相關的先前步驟，就能重構出當前狀態。

這幾乎就是圖靈機！

圖靈機是一種抽象的計算機模型，它通過在一個無限長的紙帶上進行讀寫操作來執行計算。

但即使Transformer能表示這種執行軌跡，隨著軌跡變長，標準的解碼過程仍然會付出越來越高的成本。

然而，Christos Tzamos等提出了快速解碼路徑，消除了這一障礙，而二維注意力頭限制，正是實現這一快速路徑的關鍵。

總的來說，這件事真正有價值的地方，不在于「模型更會算了」，而有些能力，可以直接以「系統」的形式嵌入進去。

當Transformer內部開始運行真正的程序，LLM就不再只是一個概率模型，而更像一個由推理系統和計算引擎組成的混合體。

AI，正在變成一整套可以執行、可以組合、可以擴展的系統。

這，可能就是下一代AI的真正方向。

參考資料：

https://x.com/mtrainier2020/status/2033640996337291482

https://www.percepta.ai/blog/can-llms-be-computers