KAN2.0：結(jié)構(gòu)即解釋——網(wǎng)絡(luò)成為科學(xué)假設(shè)的可計(jì)算載體

導(dǎo)語

2024年發(fā)布的KAN的核心創(chuàng)新在于將MLP的“節(jié)點(diǎn)激活”變?yōu)椤斑吋せ睢?，用可學(xué)習(xí)的B樣條函數(shù)替代固定激活函數(shù)，使網(wǎng)絡(luò)天然具備函數(shù)分解能力。之后原班人馬推出的KAN2.0 引入乘法節(jié)點(diǎn)和樹轉(zhuǎn)換器，從而支持先驗(yàn)知識(shí)引入，及通過結(jié)構(gòu)展示變量間的組合邏輯。

關(guān)鍵詞：KAN ，可解釋性，模塊識(shí)別，符號(hào)推理

來源：集智俱樂部

作者：郭瑞東

審校：趙思怡

論文題目：Kolmogorov-Arnold Networks Meet Science 論文鏈接：https://journals.aps.org/prx/abstract/10.1103/4t7t-v19l 發(fā)表時(shí)間：2025年12月17日 發(fā)表期刊：Physical Review X

KAN2.0如何整合先驗(yàn)科學(xué)知識(shí)

KAN 2.0框架的核心是“雙向協(xié)同”（bidirectional synergy），即科學(xué)知識(shí)注入網(wǎng)絡(luò)，網(wǎng)絡(luò)洞察反哺科學(xué)（圖1）。而使這成可能的，是在KAN中引入乘法節(jié)點(diǎn)，從而形成的MultKAN，該結(jié)構(gòu)天然支持乘積運(yùn)算。

圖1：KAN和科學(xué)發(fā)現(xiàn)的關(guān)系

根據(jù)Kolmogorov-Arnold定理，理論上僅需加法與單變量函數(shù)即可逼近任意多元連續(xù)函數(shù)，乘法可被隱式編碼。但這種“用加法模擬乘法”的路徑在拓?fù)渖蠠o法直接體現(xiàn)乘的語義。

圖2左上的標(biāo)準(zhǔn)KAN中節(jié)點(diǎn)代表求和操作，邊承載可學(xué)習(xí)的單變量函數(shù)，右上的MultKAN在標(biāo)準(zhǔn)KAN層之間插入顯式的乘法層。該層包含兩類節(jié)點(diǎn)。加法節(jié)點(diǎn)與標(biāo)準(zhǔn)KAN一致直接復(fù)制前一層子節(jié)點(diǎn)的輸出，乘法節(jié)點(diǎn)：對(duì)前一層的 kk 個(gè)子節(jié)點(diǎn)執(zhí)行乘積運(yùn)算。這一設(shè)計(jì)使網(wǎng)絡(luò)獲得原生乘法能力，無需通過復(fù)雜函數(shù)組合間接實(shí)現(xiàn)乘積。

圖2：MultKAN和原版KAN的對(duì)比

圖2下半部分對(duì)比原版KAN和MultKAN對(duì)乘法的表征差異，原版“用加法模擬乘法”的路徑在拓?fù)渖蠠o法直接體現(xiàn)乘積語義，且對(duì)噪聲敏感。MultKAN的學(xué)習(xí)結(jié)果中，網(wǎng)絡(luò)直接激活單個(gè)乘法節(jié)點(diǎn)，所有邊上的激活函數(shù)退化為線性函數(shù)，表明無需額外非線性變換。這樣網(wǎng)絡(luò)拓?fù)浔旧砑幢磉_(dá) x*y 的物理意義。

有了MultKAN，通過作者開源的kanpiler包，能將符號(hào)公式（如動(dòng)能T=?mv2）直接編譯為KAN結(jié)構(gòu)，使網(wǎng)絡(luò)從“物理正確”的初始狀態(tài)開始學(xué)習(xí)，這相當(dāng)于為AI模型引入了先驗(yàn)知識(shí)（圖3a）。圖3b展示了kanpiler在多個(gè)物理公式上的實(shí)戰(zhàn)能力，它使模型從“物理正確”的狀態(tài)開始學(xué)習(xí)，而非在隨機(jī)初始化的參數(shù)空間中盲目搜索。

圖3：KAN2.0如何將科學(xué)知識(shí)整合到KAN中

KAN不止能基于已有的先驗(yàn)公式，還能探索未知的變量間關(guān)系。具體來看，KAN 2.0采用兩種擴(kuò)展策略（圖3c）：

1. 寬度擴(kuò)展（expand_width）：在指定層橫向增加新節(jié)點(diǎn)，并添加連接新舊節(jié)點(diǎn)的邊。

2. 深度擴(kuò)展（expand_depth）：在網(wǎng)絡(luò)中插入新層，將原單步變換拆解為多步復(fù)合變換。

圖中以一個(gè)簡(jiǎn)單KAN（2輸入→2中間→1輸出）為例，展示擴(kuò)展后網(wǎng)絡(luò)如何從“精確但僵化”變?yōu)椤办`活可塑”。這一設(shè)計(jì)符合科學(xué)發(fā)現(xiàn)的官吏，先驗(yàn)公式提供初始假設(shè)，而擴(kuò)展與微調(diào)允許網(wǎng)絡(luò)在數(shù)據(jù)驅(qū)動(dòng)下修正或超越人類現(xiàn)有認(rèn)知。

利用KAN 2.0發(fā)現(xiàn)科學(xué)規(guī)律

更激動(dòng)人心的是反向過程，KAN2.0支持從訓(xùn)練好的KAN中提取科學(xué)規(guī)律。具體分為三步：

1. 識(shí)別哪些輸入變量真正影響輸出（如發(fā)現(xiàn)行星軌道僅由質(zhì)量與距離決定）；

2. 揭示變量如何組合成模塊（如能量守恒體現(xiàn)為動(dòng)能與勢(shì)能的加和結(jié)構(gòu)）；

3. 通過符號(hào)回歸將邊上的B樣條擬合為數(shù)學(xué)表達(dá)式（如sin(x)、exp(x)）。

在圖4a中，對(duì)比了原版KAN與MultKAN對(duì)節(jié)點(diǎn)（變量）重要性的評(píng)估，原版KAN識(shí)別出的這些活躍信號(hào)可能被后續(xù)層“靜默”，從而對(duì)變量的重要性產(chǎn)生誤判。KAN 2.0的歸因評(píng)分采用反向傳播式計(jì)算，評(píng)分函數(shù)能正確識(shí)別出 x1路徑實(shí)際無貢獻(xiàn)，生成稀疏且物理一致的網(wǎng)絡(luò)圖，其中僅 x2 路徑被高亮，與方程的數(shù)學(xué)本質(zhì)完全吻合。

通過反向傳播式評(píng)分，量化每條路徑對(duì)輸出的邊際貢獻(xiàn)。這接近科學(xué)實(shí)驗(yàn)中的“干預(yù)測(cè)試”：若移除某變量，輸出變化多大？歸因評(píng)分正是這種思想的計(jì)算實(shí)現(xiàn)。

圖4：KAN2.0如何通過歸因評(píng)分和剪枝確定關(guān)鍵變量

在真實(shí)科學(xué)問題中（如基因組學(xué)、氣候建模），輸入維度常達(dá)數(shù)百甚至上千，但僅少數(shù)變量與目標(biāo)相關(guān)。圖4b為包含所有100個(gè)變量的KAN與剪枝后得到包含對(duì)結(jié)果貢獻(xiàn)最大的5個(gè)變量的KAN。

KAN剪枝的過程，就是在做假設(shè)生成。當(dāng)KAN自動(dòng)剔除95個(gè)變量后，科學(xué)家可聚焦于剩余5個(gè)變量構(gòu)建物理模型，加速“數(shù)據(jù)→理論”的轉(zhuǎn)化。

圖5：KAN2.0如何自動(dòng)得到變量模塊

KAN 2.0進(jìn)行科學(xué)發(fā)現(xiàn)的第二步是將關(guān)鍵變量模塊化。KAN 2.0采用的auto_swap的神經(jīng)元交換技術(shù)，為訓(xùn)練完成的KAN網(wǎng)絡(luò)中的每層節(jié)點(diǎn)隨機(jī)分配二維坐標(biāo) (x,y)，并定義總連接成本 ，之后迭代式的嘗試交換同層任意兩節(jié)點(diǎn)的坐標(biāo)，若交換后總連接成本下降則接受，直至收斂（圖5上）。該過程不改變網(wǎng)絡(luò)功能，僅重排節(jié)點(diǎn)順序，卻使強(qiáng)連接的節(jié)點(diǎn)在空間上聚集，弱連接節(jié)點(diǎn)分離，形成肉眼可辨的模塊簇 。

對(duì)比當(dāng)前多層神經(jīng)網(wǎng)絡(luò)MLP中，由于采用固定激活函數(shù)（如ReLU）難以直接表達(dá)多數(shù)投票的非線性閾值特性，被迫用多層組合近似，導(dǎo)致功能模塊在參數(shù)空間中“彌散編碼” （圖5下）。

當(dāng)任務(wù)本身具有模塊結(jié)構(gòu)時(shí)，KAN的邊激活架構(gòu)會(huì)自然學(xué)習(xí)到稀疏連接模式，這意味著功能模塊化可自發(fā)誘導(dǎo)解剖模塊化，科學(xué)家能據(jù)此從數(shù)據(jù)中發(fā)現(xiàn)系統(tǒng)中存在獨(dú)立的子模塊。識(shí)別出的模塊可被剪枝或替換為符號(hào)公式，實(shí)現(xiàn)“神經(jīng)-符號(hào)”混合建模。層次化模塊結(jié)構(gòu)還可直接對(duì)應(yīng)物理系統(tǒng)的尺度分離（微觀→介觀→宏觀），為多尺度建模提供網(wǎng)絡(luò)拓?fù)湟罁?jù)。

在二維諧振子實(shí)驗(yàn)中，KAN自動(dòng)發(fā)現(xiàn)了三個(gè)守恒量：x方向能量、y方向能量與角動(dòng)量。當(dāng)KAN的某條路徑僅連接x與p?時(shí)，暗示該守恒量?jī)H與x方向運(yùn)動(dòng)相關(guān)。網(wǎng)絡(luò)拓?fù)涑闪宋锢韺?duì)稱性的可視化映射。

圖6：KAN如何發(fā)現(xiàn)功能模塊，從而擬合公式

KAN 2.0不僅能擬合函數(shù)，更能逐步學(xué)習(xí)函數(shù)內(nèi)在的層次化結(jié)構(gòu)，從而發(fā)現(xiàn)對(duì)應(yīng)的數(shù)學(xué)公式。圖6a定義了功能模塊化的三級(jí)層次體系，每一級(jí)對(duì)應(yīng)特定的數(shù)學(xué)結(jié)構(gòu)與可計(jì)算檢測(cè)準(zhǔn)則。圖6b通過兩個(gè)合成函數(shù)，可視化展示了樹轉(zhuǎn)換器（tree converter）如何將任意函數(shù)遞歸分解為層次化樹結(jié)構(gòu)。在之后的案例中，研究者用KAN 2.0在發(fā)現(xiàn)史瓦西黑洞隱藏對(duì)稱性時(shí)，用圖6的樹轉(zhuǎn)換器可識(shí)別出坐標(biāo)變換的層次結(jié)構(gòu)。

總結(jié)

Software 1.0的傳統(tǒng)編程，完全依賴先驗(yàn)知識(shí)，代表“理性主義”（知識(shí)源于先驗(yàn)推理），Software 2.0機(jī)器學(xué)習(xí)代表“經(jīng)驗(yàn)主義”（知識(shí)源于數(shù)據(jù)歸納），完全依賴從數(shù)據(jù)中從頭挖掘（圖7a），前者對(duì)應(yīng)論語中的思而不學(xué)則怠，后者對(duì)應(yīng)學(xué)而不思則惘，。而KAN 2.0試圖融合二者，采用可學(xué)習(xí)的組件找出可推理的結(jié)構(gòu)。它犧牲部分可學(xué)習(xí)性（相比MLP需更多參數(shù)擬合同等函數(shù)），換取可解釋性的質(zhì)變（從“事后解釋”到“結(jié)構(gòu)即解釋”）。

圖7：KAN相比傳統(tǒng)程序和機(jī)器學(xué)習(xí)在可解釋性與可學(xué)習(xí)性上的擴(kuò)展

圖7b以帕累托前沿，追問可解釋性是否隨規(guī)模增長(zhǎng)而必然衰減？ 只依賴KAN（厚紅線），規(guī)模較小時(shí)，網(wǎng)絡(luò)整體可讀。但隨規(guī)模增長(zhǎng)，即使每條邊單獨(dú)可解釋，組合爆炸導(dǎo)致全局理解困難。如同能讀懂每個(gè)漢字，卻無法理解百萬字小說的敘事結(jié)構(gòu)。

“僅靠人類直覺”所能達(dá)到的可解釋性上限，呈現(xiàn)指數(shù)衰減趨勢(shì)。而通過符號(hào)回歸（Symbolic regression），模塊發(fā)現(xiàn)（Modularity discovery）和特征歸因（Feature attribution），細(xì)紅線對(duì)應(yīng)的模型×方法×人類認(rèn)知"的協(xié)同作用可將可解釋性邊界向外推移。

傳統(tǒng)科學(xué)哲學(xué)認(rèn)為，理解即獲得符號(hào)公式；但KAN 2.0指出，理解存在光譜：從識(shí)別關(guān)鍵變量，到把握模塊關(guān)系，再到精確公式。這種分層觀更貼近真實(shí)科研——生物學(xué)家可能無需微分方程，僅憑通路模塊就能理解細(xì)胞信號(hào)傳導(dǎo)。

當(dāng)前XAI（可解釋AI）多聚焦于事后解釋（post-hoc explanation），如用注意力熱力圖說明CNN關(guān)注圖像哪部分。但KAN 2.0倡導(dǎo)的內(nèi)在可解釋性（inherent interpretability）讓網(wǎng)絡(luò)結(jié)構(gòu)本身即承載科學(xué)意義。當(dāng)KAN的邊對(duì)應(yīng)物理量間的函數(shù)關(guān)系，節(jié)點(diǎn)對(duì)應(yīng)變量組合，網(wǎng)絡(luò)不再是黑箱，而成為科學(xué)假設(shè)的可計(jì)算載體。

KAN2.0 將AI從“預(yù)測(cè)引擎”重塑為“認(rèn)知伙伴”。未來AI4Science工具或許應(yīng)具備三重能力：感知數(shù)據(jù)、操作符號(hào)、生成假設(shè)。KAN在前兩者間架起橋梁，而假設(shè)生成可能需要結(jié)合大語言模型的推理能力。

閱讀最新前沿科技趨勢(shì)報(bào)告，請(qǐng)?jiān)L問21世紀(jì)關(guān)鍵技術(shù)研究院的“未來知識(shí)庫”

未來知識(shí)庫是 “21世紀(jì)關(guān)鍵技術(shù)研究院”建 立的在線知識(shí)庫平臺(tái)，收藏的資料范圍包括人工智能、腦科學(xué)、互聯(lián)網(wǎng)、超級(jí)智能，數(shù)智大腦、能源、軍事、經(jīng)濟(jì)、人類風(fēng)險(xiǎn)等等領(lǐng)域的前沿進(jìn)展與未來趨勢(shì)。目前擁有超過8000篇重要資料。每周更新不少于100篇世界范圍最新研究資料。 歡迎掃描二維碼或訪問https://wx.zsxq.com/group/454854145828進(jìn)入。

截止到2月28日 ”未來知識(shí)庫”精選的百部前沿科技趨勢(shì)報(bào)告

（加入未來知識(shí)庫，全部資料免費(fèi)閱讀和下載）