僅2M參數(shù)！清華LimiX攻克表格數(shù)據(jù)難題，超越XGBoost

始智AI wisemodel.cn社區(qū)是源自中國(guó)的中立開(kāi)放的AI開(kāi)源社區(qū)。正在，歡迎加入共同成長(zhǎng)。wisemodel推出邀請(qǐng)注冊(cè)獎(jiǎng)勵(lì)活動(dòng)，最高可得算力券+token包380元獎(jiǎng)勵(lì)，歡迎參與和支持！

提到 AI 的突破，人們首先想到的往往是大語(yǔ)言模型（LLM）：寫(xiě)代碼、生成文本、甚至推理多模態(tài)內(nèi)容，幾乎重塑了通用智能的邊界。但在一個(gè)看似 “簡(jiǎn)單” 的領(lǐng)域 —— 結(jié)構(gòu)化表格數(shù)據(jù)上，這些強(qiáng)大的模型卻頻頻失手。電網(wǎng)調(diào)度、用戶(hù)建模、通信日志…… 現(xiàn)實(shí)世界中大量關(guān)鍵系統(tǒng)的核心數(shù)據(jù)都以表格形式存在。然而，無(wú)論是直接微調(diào) LLM，還是采用專(zhuān)門(mén)為表格設(shè)計(jì)的深度架構(gòu)（如 TabNet、SAINT、FT-Transformer），其性能在多數(shù)真實(shí)場(chǎng)景下仍難以超越 XGBoost、CatBoost 等傳統(tǒng)梯度提升方法。

這引出一個(gè)尖銳的問(wèn)題：為什么在非結(jié)構(gòu)化數(shù)據(jù)上所向披靡的現(xiàn)代深度學(xué)習(xí)，在結(jié)構(gòu)化數(shù)據(jù)建模中卻長(zhǎng)期陷入瓶頸？

直指這個(gè)核心問(wèn)題，清華大學(xué)崔鵬團(tuán)隊(duì)做出了他們的回應(yīng) ——LimiX。不同于其他模型只能進(jìn)行一種下游任務(wù)，LimiX-2M 在同時(shí)支持分類(lèi)、回歸、缺失值插補(bǔ)等任務(wù)的前提下，以?xún)H有 2M 的模型參數(shù)超越了包括 XGBoost、CatBoost 在內(nèi)的經(jīng)典模型，并在與 AutoGluon 和 TabPFN 的對(duì)比中展示出顯著優(yōu)勢(shì)，僅次于 LimiX 前期發(fā)布的 LimiX-16M。

LimiX 的開(kāi)源使中國(guó)在表格建模領(lǐng)域的研究真正站到了世界的最前沿，力壓 Amazon AWS，Inria 等一系列頂尖機(jī)構(gòu)在諸多性能測(cè)試上登頂！僅僅 2M 的模型體量使得快速微調(diào)和工程適配成為可能，為各領(lǐng)域研究和工業(yè)應(yīng)用提供了無(wú)限可能。LimiX-2M已上線始智AI-wisemodel開(kāi)源社區(qū)，歡迎大家前去體驗(yàn)。

模型地址

https://www.wisemodel.cn/models/stable-ai/LimiX-2M

01.

2M參數(shù)量，LimiX有多強(qiáng)？

11 個(gè)權(quán)威評(píng)測(cè)基準(zhǔn)上的平均性能表現(xiàn)，LimiX-2M 僅次于 LimiX-16M，位列第二

如圖所示，在 11 個(gè)權(quán)威綜合性能評(píng)測(cè)中，LimiX 憑借強(qiáng)大的 zero-shot 能力強(qiáng)勢(shì)領(lǐng)跑：其 LimiX-16M 與 LimiX-2M 版本包攬分類(lèi)任務(wù)冠亞軍，一舉超越業(yè)界標(biāo)桿 AutoGluon，并大幅甩開(kāi)其他基于上下文學(xué)習(xí)的基礎(chǔ)模型與傳統(tǒng)樹(shù)模型。

在基準(zhǔn)數(shù)據(jù)集 BCCO-CLS 上的分類(lèi)性能對(duì)比，只展示了部分最優(yōu)模型

在基準(zhǔn)數(shù)據(jù)集 CTR23 上的回歸性能對(duì)比，只展示了部分最優(yōu)模型

上圖展示了 LimiX-2M 在 BCCO 和 CTR23 上的測(cè)試結(jié)果：在分類(lèi)任務(wù)中，LimiX-16M 和 LimiX-2M 包攬前二。在回歸任務(wù)中，LimiX-16M 依舊穩(wěn)居榜首；LimiX-2M 緊隨 LimiX-16M 和 AutoGluon，力壓眾多模型，位列第三。值得注意的是 —— 這一切成績(jī)均在無(wú)任何任務(wù)特定微調(diào)的前提下達(dá)成！

除了 “開(kāi)箱即用” 模式之外，LimiX 還可以通過(guò)微調(diào)進(jìn)一步提高模型表現(xiàn)。作為對(duì)比，我們把 LimiX-2M 和最新的 PFN-V2.5 都在 analcatdata_apnea2 數(shù)據(jù)集上進(jìn)行微調(diào)，并統(tǒng)計(jì)微調(diào)前后的 AUC 和消耗的時(shí)間。微調(diào)后，模型的 AUC 相較于微調(diào)之前提升 11.4%，同時(shí)所需要的時(shí)間只相當(dāng)于 PFN-V2.5 的 60%。

值得一提的是，盡管本對(duì)比實(shí)驗(yàn)在 H20 上完成，但 LimiX-2M 可以在消費(fèi)級(jí)顯卡 RTX4090 上進(jìn)行微調(diào)，而 PFN-V2.5 需要更大顯存的顯卡，LimiX 作為基礎(chǔ)模型顯然更加科研友好。

02.

讓科研回歸創(chuàng)造，讓技術(shù)成為助力

LimiX-2M 作為一個(gè)高效、靈活、可靠的算法架構(gòu)，讓研究人員不再受困于算力與工程難題，而是專(zhuān)注于科學(xué)問(wèn)題本身。其輕量、易用、可落地的特點(diǎn)，使最前沿的 AI 技術(shù)觸手可及，大大降低了使用門(mén)檻，加速了想法的驗(yàn)證與共享：

開(kāi)箱即用，告別適配：LimiX 基于上下文學(xué)習(xí)，無(wú)需訓(xùn)練或調(diào)參，自動(dòng)完成數(shù)據(jù)預(yù)處理，讓非專(zhuān)業(yè)人士也能立刻上手；

一模多能，科研的 “瑞士軍刀”：單模型通吃分類(lèi)、回歸、插補(bǔ)等多任務(wù)，跨學(xué)科研究無(wú)縫切換，告別繁瑣的模型管理；

小樣本友好，挖掘珍貴數(shù)據(jù)價(jià)值：在醫(yī)學(xué)、生物等小樣本場(chǎng)景下高效泛化，從有限數(shù)據(jù)中榨取最大的分析價(jià)值；

可解釋可追溯，打開(kāi)模型 “黑盒”：通過(guò)檢索機(jī)制揭示預(yù)測(cè)依據(jù)，提升透明度，助力理論驗(yàn)證與可信分析；

低算力運(yùn)行，資源友好的科研工具：輕量設(shè)計(jì)支持普通電腦流暢運(yùn)行，讓小型團(tuán)隊(duì)也能低成本開(kāi)展前沿 AI 實(shí)驗(yàn)；

本地可部署，隱私與合規(guī)雙保險(xiǎn)：完全離線運(yùn)行，保障敏感數(shù)據(jù)安全，滿(mǎn)足醫(yī)療、國(guó)防等高合規(guī)場(chǎng)景需求。

03.

輕模型的“屠龍術(shù)”

1.LimiX模型是怎么練成的？

LimiX 的模型結(jié)構(gòu)：LimiX 的設(shè)計(jì)基于 Transformer 架構(gòu)，并針對(duì)結(jié)構(gòu)化數(shù)據(jù)建模進(jìn)行了優(yōu)化。模型首先對(duì)特征與目標(biāo)分別進(jìn)行 embedding，在主模塊中通過(guò)樣本維度與特征維度的雙重注意力機(jī)制，聚焦關(guān)鍵樣本與關(guān)鍵特征。提取的高維表示隨后分別輸入回歸頭和分類(lèi)頭，從而同時(shí)支持回歸與分類(lèi)任務(wù)。

LimiX 的訓(xùn)練數(shù)據(jù)：LimiX 在預(yù)訓(xùn)練中完全依賴(lài)生成數(shù)據(jù)，而非真實(shí)世界數(shù)據(jù)。為確保生成過(guò)程的高效與可控，模型采用基于結(jié)構(gòu)因果圖（SCG）的數(shù)據(jù)生成方式：初始樣本在有向無(wú)環(huán)圖上傳播，通過(guò)邊映射與節(jié)點(diǎn)交互模擬真實(shí)因果依賴(lài)關(guān)系，再?gòu)囊蚬麍D中采樣得到訓(xùn)練數(shù)據(jù)。該方法既保證了數(shù)據(jù)的因果多樣性，又提升了可控性與泛化能力。

掩碼重構(gòu)機(jī)制：LimiX 對(duì)數(shù)據(jù)的聯(lián)合分布進(jìn)行建模，以提高模型的通用性、增強(qiáng)對(duì)特征交互模式的建模能力。具體地，LimiX 模型在模型優(yōu)化目標(biāo)設(shè)計(jì)中加入了掩碼重構(gòu)機(jī)制：在訓(xùn)練過(guò)程中，通過(guò)對(duì)數(shù)據(jù)進(jìn)行隨機(jī)掩碼操作，模型將根據(jù)特征間的因果依賴(lài)關(guān)系，使用觀測(cè)到的數(shù)據(jù)來(lái)重構(gòu)缺失數(shù)據(jù)。

2.核心更新：RBF嵌入層（RaBEL）

LimiX-2M 僅有 1.94M 參數(shù)量，是 LimiX-16M 的八分之一，卻在多個(gè)數(shù)據(jù)集基準(zhǔn)上取得強(qiáng)勁、接近 LimiX-16M 的性能表現(xiàn)。

它的核心革新不是 “剪枝” 或 “蒸餾”，而是一次從嵌入層重新出發(fā)的結(jié)構(gòu)性更新：引入 RBF（Radial Basis Function）數(shù)值嵌入機(jī)制。

瓶頸診斷-線性嵌入的 “低秩塌陷”：在 TabPFN-v2、LimiX-16M 乃至早期 FT-Transformer、TabTransformer 等架構(gòu)中，數(shù)值輸入通常采用 “線性映射 + 列 ID” 方案：

這種設(shè)計(jì)雖然簡(jiǎn)單高效，但存在一個(gè)系統(tǒng)性的問(wèn)題 —— 我們稱(chēng)之為 “低秩塌陷”。具體來(lái)說(shuō)就是：

• 模型淺層激活高度相關(guān)，特征矩陣在奇異值分解后僅保留個(gè)位數(shù)有效秩（能提取的有效特征種類(lèi)非常有限）；

• 網(wǎng)絡(luò)早期幾乎處于 “線性近似” 狀態(tài)，很難分辨出數(shù)據(jù)中更復(fù)雜的局部變化、分段趨勢(shì)或者特殊分布；

• 梯度利用率極低，使得后續(xù)層在優(yōu)化中浪費(fèi)大量表達(dá)能力。

如下圖所示，基于 RBF 嵌入的 LimiX-2M 有效秩很高，而 TabPFN-v2 在前幾層的秩明顯偏低，并且有很大差距。這說(shuō)明在模型規(guī)模相當(dāng)?shù)那闆r下，RBF 嵌入能夠?yàn)榫W(wǎng)絡(luò)提供更豐富、更多樣的表示基礎(chǔ)。

為了解決嵌入矩陣秩受限這一問(wèn)題，我們引入了 RaBEL（Radial Basis Embedding Layer），其核心思想是：在嵌入階段就引入非線性表達(dá)能力，而非依賴(lài)后續(xù)層 “補(bǔ)救”。

用 “局部感知” 取代 “線性投影”：RBF（Radial Basis Function，徑向基函數(shù)）是一種經(jīng)典的局部核函數(shù)。通俗易懂地說(shuō)，RBF 就像一個(gè) “感應(yīng)器” 或 “測(cè)量點(diǎn)”，它只對(duì)周?chē)囟▍^(qū)域內(nèi)的東西有反應(yīng)，離得越近，反應(yīng)越強(qiáng)烈。它的核心價(jià)值在于局部感知和非線性轉(zhuǎn)換。

由于每個(gè) RBF 只關(guān)心自己那一畝三分地，模型通過(guò)組合這些局部信息，可以非常靈活地?cái)M合出任何彎曲、復(fù)雜的數(shù)據(jù)規(guī)律（比如波浪形的曲線），而不用像線性模型那樣只能畫(huà)出一條死板的直線。具體地，對(duì)于單個(gè)數(shù)值，RaBEL 將其映射為一組局部響應(yīng)：

其中 為每列自適應(yīng)的中心與帶寬。

這一步相當(dāng)于在數(shù)軸上布置多個(gè) “感受野”，讓模型在不同取值區(qū)間形成獨(dú)立激活。

隨后，通過(guò)一個(gè)共享線性層 將這些局部特征投影到模型維度 d。

結(jié)果是非線性特征在嵌入階段提前形成，淺層即可識(shí)別非平滑關(guān)系，從根本上解決低秩問(wèn)題。

04.

結(jié)語(yǔ)

輕量化、開(kāi)箱即用的LimiX-2M，在科研探索和實(shí)際落地場(chǎng)景均有巨大潛力。它保持前代 LimiX-16M 支持分類(lèi)、回歸、缺失值插補(bǔ)等多樣化能力，性能遠(yuǎn)超現(xiàn)有其它表格模型，同時(shí)大幅度降低了顯存占用和時(shí)間消耗。

LimiX-2M支持快速高效微調(diào)和適配，成本遠(yuǎn)低于現(xiàn)有模型，科研友好。并且可以輕松部署到端側(cè)設(shè)備，具有巨大應(yīng)用價(jià)值。

編輯：成蘊(yùn)年

----- END -----

wisemodel相關(guān)：

系列模型：

關(guān)于wisemodel更多

1

歡迎持續(xù)關(guān)注和支持

開(kāi)源社區(qū)建設(shè)需要長(zhǎng)期堅(jiān)持和投入，更需要廣大用戶(hù)的積極參與、貢獻(xiàn)和維護(hù)，歡迎大家加入wisemodel開(kāi)源社區(qū)的志愿者計(jì)劃和開(kāi)源共創(chuàng)計(jì)劃。期待更多開(kāi)發(fā)者將開(kāi)源成果，包括模型、數(shù)據(jù)集和代碼等發(fā)布到 wisemodel.cn 社區(qū)，共建中立、開(kāi)放的AI開(kāi)源社區(qū)生態(tài)。歡迎掃碼添加wisemodel微信，申請(qǐng)加入wisemodel社群，持續(xù)關(guān)注wisemodel.cn開(kāi)源社區(qū)動(dòng)態(tài)。

2

歡迎加盟wisemodel開(kāi)源社區(qū)

始智AI wisemodel社區(qū)自2023年9月上線以來(lái)，逐漸成為影響力日益擴(kuò)大的中立開(kāi)放的AI開(kāi)源社區(qū)，為了加快公司發(fā)展，我們長(zhǎng)期需要技術(shù)、運(yùn)營(yíng)等人才加盟，技術(shù)側(cè)重在AI infra、后端開(kāi)發(fā)，熟悉K8S、模型訓(xùn)練和推理等技術(shù)， 以及熟悉開(kāi)發(fā)者生態(tài)運(yùn)營(yíng)的成員，歡迎感興趣的朋友加盟，可以通過(guò)添加wisemodel微信，或者將簡(jiǎn)歷投遞到郵箱：liudaoquan@wisemodel.cn

3

歡迎投稿優(yōu)質(zhì)內(nèi)容

歡迎投稿分享人工智能領(lǐng)域相關(guān)的優(yōu)秀研究成果，鼓勵(lì)高校實(shí)驗(yàn)室、大企業(yè)研究團(tuán)隊(duì)、個(gè)人等，在wisemodel平臺(tái)上分享各類(lèi)優(yōu)質(zhì)內(nèi)容，可以是AI領(lǐng)域最新論文解讀、最新開(kāi)源成果介紹，也可以是關(guān)于AI技術(shù)實(shí)踐、應(yīng)用和總結(jié)等。投稿可以發(fā)郵件到liudaoquan@wisemodel.cn，也可以掃碼添加wisemodel微信。

4

關(guān)于wisemodel開(kāi)源社區(qū)

始智AI wisemodel.cn開(kāi)源社區(qū)由清華校友總會(huì)AI大數(shù)據(jù)專(zhuān)委會(huì)副秘書(shū)長(zhǎng)劉道全創(chuàng)立，旨在打造和建設(shè)中立開(kāi)放的AI開(kāi)源創(chuàng)新社區(qū)，將打造成“HuggingFace”之外最活躍的AI開(kāi)源社區(qū)，匯聚主要AI開(kāi)源模型、數(shù)據(jù)集和代碼等，歡迎高?？蒲性核⒋笮突ヂ?lián)網(wǎng)公司、創(chuàng)新創(chuàng)業(yè)企業(yè)、廣大個(gè)人開(kāi)發(fā)者，以及政府部門(mén)、學(xué)會(huì)協(xié)會(huì)、聯(lián)盟、基金會(huì)等，還有投資機(jī)構(gòu)、科技媒體等，共同參與建設(shè)AI開(kāi)源創(chuàng)新生態(tài)。

向上滑動(dòng)查看