表格建模也能Scaling？樹模型的時代要改變了

一張 H100 相當(dāng)于多少個 Hadoop 實例？

讓我們先從一個有趣的問題開始：站在 2026 年的當(dāng)下，一張 H100 GPU 的單卡算力（FP16）大約相當(dāng)于多少個 Hadoop 實例？

答案是：約 200 個（ 單卡 H100 vs 一臺 96 核 CPU 實例）。

這個數(shù)字背后隱藏著一個值得深思的現(xiàn)象：過去幾年中，AI 的快速發(fā)展極大推動了算力的指數(shù)級增長。然而在結(jié)構(gòu)化數(shù)據(jù)建模這一領(lǐng)域，行業(yè)主流方法仍然是以樹模型為核心的垂直場景化解決方案。

這就形成了一個有趣的 "反差"：一邊是各大科技公司和大量初創(chuàng)企業(yè)正通過不斷升級的大語言模型推動 AI 生產(chǎn)力的躍遷，另一邊是在金融、醫(yī)療、電商、物流、工業(yè)制造等高價值行業(yè)中，真正承載智能化任務(wù)的，仍主要是以 XGBoost、隨機森林為代表的樹模型。這種反差讓我們不得不開始思考：當(dāng)算力革命發(fā)生時，結(jié)構(gòu)化數(shù)據(jù)建模的 "平衡點" 是否也該被重新定義？

"苦澀的教訓(xùn)" 與結(jié)構(gòu)化數(shù)據(jù)的困境

從更宏觀的角度看，大模型研發(fā)所遵循的核心思想，可以追溯到 Richard Sutton 提出的 “苦澀的教訓(xùn)”（The Bitter Lesson）：在 AI 的長期發(fā)展中，那些能夠隨著計算規(guī)模持續(xù)擴展的通用學(xué)習(xí)方法，往往最終會超越依賴人類直覺與領(lǐng)域知識精心設(shè)計的系統(tǒng)。

大語言模型的成功正是這一規(guī)律的典型體現(xiàn) —— 通過統(tǒng)一架構(gòu)與大規(guī)模數(shù)據(jù)訓(xùn)練，LLM 在 NLP 領(lǐng)域?qū)崿F(xiàn)了跨任務(wù)、跨場景的能力遷移。然而，當(dāng)企業(yè)在實際業(yè)務(wù)中解決監(jiān)督學(xué)習(xí)問題時，情況卻呈現(xiàn)出明顯反差。即使在嘗試引入深度學(xué)習(xí)時，也往往需要依賴復(fù)雜的數(shù)據(jù)流水線、特定架構(gòu)設(shè)計以及大量領(lǐng)域知識的引入。這相當(dāng)于用 "手工作坊" 的方式，去應(yīng)對 "工業(yè)化生產(chǎn)" 的需求。于是出現(xiàn)了一個頗為有趣的現(xiàn)象：一方面，各大科技公司和大量初創(chuàng)企業(yè)正通過不斷擴大的大語言模型推動 AI 生產(chǎn)力的躍遷；另一方面，在金融、醫(yī)療、電商、物流、工業(yè)制造、農(nóng)業(yè)等高價值行業(yè)的重要社會經(jīng)濟領(lǐng)域中，真正承載智能化場景任務(wù)的，仍主要是以 XGBoost、隨機森林為代表的基于樹的表格分類模型或垂域深度學(xué)習(xí)分類模型，這進一步激發(fā)了我們探索結(jié)構(gòu)化數(shù)據(jù)模型 scaling 上限的興趣。

回顧歷史，XGBoost 在 2014 年被廣泛視為機器學(xué)習(xí)領(lǐng)域中算力、算法與數(shù)據(jù)三要素之間的一個 “平衡點”。但十二年后的今天，隨著 GPU 算力的快速迭代并帶來數(shù)量級提升，這一平衡點是否已經(jīng)發(fā)生改變？結(jié)構(gòu)化數(shù)據(jù)建模是否也可能像 NLP 和 CV 一樣，通過新的計算范式實現(xiàn)突破？回到開篇的問題：當(dāng)單張 H100 與一臺 96 核 CPU 服務(wù)器之間已經(jīng)存在約 200 倍的 FP16 算力差距時，一個自然的想法是 —— 是否可以將 GPU 的大規(guī)模并行算力真正引入結(jié)構(gòu)化數(shù)據(jù)建模，并通過預(yù)訓(xùn)練范式重新平衡算力、數(shù)據(jù)與算法這三大核心要素。

千億級樣本預(yù)訓(xùn)練實踐

本文將重點介紹浙大 X 螞蟻 AIforData 團隊的探索：基于螞蟻集團海量的異構(gòu)結(jié)構(gòu)化數(shù)據(jù)以及豐富的下游業(yè)務(wù)場景，實現(xiàn)了千卡 GPU 集群下百億級樣本規(guī)模的結(jié)構(gòu)化數(shù)據(jù)預(yù)訓(xùn)練，并系統(tǒng)評估了預(yù)訓(xùn)練模型在下游任務(wù)中的表現(xiàn)，實驗結(jié)果表明：

1. 在工業(yè)級表格數(shù)據(jù)集上，預(yù)訓(xùn)練模型的性能可以穩(wěn)定且顯著地超越傳統(tǒng)樹模型

2. 表格數(shù)據(jù)預(yù)訓(xùn)練模型呈現(xiàn)出明顯的 scaling law

3. 行為序列預(yù)訓(xùn)練模型同樣表現(xiàn)出良好的 scaling law

工作 1: 表格數(shù)據(jù)預(yù)訓(xùn)練與 Scaling Law

https://arxiv.org/abs/2602.22777

KMLP（Kolmogorov-Arnold Network with gated MLP）是面向互聯(lián)網(wǎng)超大規(guī)模表格數(shù)據(jù)的混合深度學(xué)習(xí)架構(gòu)（中稿 The Web Conference 2026）。面對工業(yè)場景中數(shù)十億樣本、數(shù)千異構(gòu)特征的建模挑戰(zhàn)，KMLP 創(chuàng)新性地將淺層 KAN 作為前端特征工程構(gòu)造器，結(jié)合 gMLP 主干網(wǎng)絡(luò)捕獲高階交互，實現(xiàn)了端到端的自動化特征表示學(xué)習(xí)。

在包含 20 億樣本的真實信貸評分?jǐn)?shù)據(jù)集上，KMLP 展現(xiàn)出顯著的規(guī)模優(yōu)勢：隨著數(shù)據(jù)量級提升，其相對于傳統(tǒng) GBDT 模型的性能優(yōu)勢持續(xù)擴大。這一發(fā)現(xiàn)驗證了 KMLP 作為可擴展深度學(xué)習(xí)范式的潛力，為大規(guī)模動態(tài)互聯(lián)網(wǎng)表格數(shù)據(jù)建模提供了新路徑。

KMLP 的核心價值在于解決了傳統(tǒng)方法的雙重瓶頸：一方面克服了 GBDT 在超大規(guī)模數(shù)據(jù)集上分布式計算效率問題，另一方面通過可學(xué)習(xí)激活函數(shù)擺脫了對人工特征工程的依賴，實現(xiàn)了特征異構(gòu)性與交互建模的統(tǒng)一。其相對于傳統(tǒng) GBDT 模型的性能優(yōu)勢持續(xù)擴大；解決了 GBDT 分布式計算效率問題和人工特征工程依賴。

工作 2: 行為序列預(yù)訓(xùn)練與 Scaling Law

https://arxiv.org/abs/2412.12468

用戶行為時序數(shù)據(jù)，作為刻畫用戶的關(guān)鍵結(jié)構(gòu)化數(shù)據(jù)之一，對于用戶理解與建模起著重要作用。在用戶建模時如何利用以及如何利用好更多的用戶行為序列數(shù)據(jù)，是一個重要的研究課題。

FOUND：時序數(shù)據(jù)的語義級應(yīng)用

FOUND（Transferable and Forecastable User Targeting Foundation Model）是 AIforData 團隊發(fā)布在 The Web Conference 2025（WebConf 25）中的工作，面向互聯(lián)網(wǎng)平臺中多種來源的序列數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)，構(gòu)建了工業(yè)級、具有預(yù)測性的用戶表征框架。

當(dāng)前許多用戶理解方法面臨兩大顯著挑戰(zhàn)：(i) 跨領(lǐng)域和跨場景的可遷移性及泛化能力較弱 (ii) 在實際應(yīng)用中的預(yù)測能力不足。為了增強跨領(lǐng)域遷移能力，F(xiàn)OUND 框架整合了多場景用戶數(shù)據(jù)，并在用戶建模時創(chuàng)新性地通過對比學(xué)習(xí)預(yù)訓(xùn)練將其與根據(jù)序列語義整理得到的文本進行對齊。為了提高預(yù)測性，每個用戶的文本描述基于用戶未來的行為推導(dǎo)得出，而用戶表征則由歷史信息構(gòu)建而成，使用過去 - 未來語義對齊的方式構(gòu)造訓(xùn)練樣本對。

由該框架產(chǎn)出的用戶表征在真實場景 benchmark 和業(yè)務(wù)上均獲得了增益。同時引入自然語言監(jiān)督的方式也使得模型天然支持人群圈選這一用戶理解任務(wù)，該預(yù)訓(xùn)練框架支持的圈人能力在下游取得了大量收益，支持超過 50 個業(yè)務(wù)場景。

序列數(shù)據(jù)的 Scaling Law

在有了上述預(yù)訓(xùn)練框架后，我們思考如何將綜合互聯(lián)網(wǎng)平臺中更多更長的用戶行為序列引入到模型中來。針對多種來源的序列數(shù)據(jù)，各自設(shè)計編碼器會存在訓(xùn)練成本過高、表達空間不統(tǒng)一等缺陷，同時如何發(fā)揮更多輸入序列數(shù)據(jù)的最大性能也是一個問題，即需要探索輸入序列本身存在的 Scaling Law 以及如何突破可能存在的 Scaling 瓶頸。

在實驗探索過程中我們發(fā)現(xiàn)，輸入序列長度 / 用戶數(shù)目在數(shù)量級較少時，性能隨著天數(shù) / 用戶數(shù)目（指數(shù)）近似線性提升，Scaling 現(xiàn)象明顯；但在輸入序列增長、用戶數(shù)目增加時增長緩慢，出現(xiàn) Scaling 瓶頸。為解決該問題，除了增加參數(shù)這種模型層面的 Scaling，提升輸入用戶數(shù)據(jù)的信息密度，即對用戶信息進行壓縮，不失為一種節(jié)約成本且輕量的方案。在使用 RQ-VAE 方案進行用戶序列數(shù)據(jù)壓縮后，我們觀測到出現(xiàn)數(shù)據(jù)增長瓶頸得到延緩，說明了壓縮帶來突破瓶頸的 Densing Law 現(xiàn)象。

核心結(jié)論：在輸入序列長度 / 用戶數(shù)目在數(shù)量較少時性能隨著天數(shù)指數(shù)的 Scaling 現(xiàn)象明顯，輸入序列長度和用戶數(shù)目增加至較大量級時出現(xiàn) Scaling 瓶頸，而壓縮數(shù)據(jù)可以通過提升信息密度帶來突破瓶頸的 Densing Law 現(xiàn)象。

基于以上原始和壓縮輸入的 Scaling Law，我們設(shè)計了基于統(tǒng)一用戶量化壓縮的用戶理解方案，將用戶的多源序列等數(shù)據(jù)使用設(shè)計的 MRQ-VAE 方案壓縮成語義 token ID 提升信息密度，并在此基礎(chǔ)之上 Scaling 得到了更佳性能的用戶模型。產(chǎn)出的通用用戶表征在 80% 以上真實場景 benchmark 中相比之前原始數(shù)據(jù)輸入版本均有提升，并在數(shù)字金融、支付安全、營銷推薦、廣告等業(yè)務(wù)中全面應(yīng)用。

總結(jié)與展望

回到開篇的問題：當(dāng)算力已經(jīng)發(fā)生數(shù)量級變化時，結(jié)構(gòu)化數(shù)據(jù)建模的范式是否也該隨之改變？

螞蟻 x 浙大 AIforData 團隊的探索給出了肯定的答案。Scaling Law 正在從 NLP、CV 延伸到結(jié)構(gòu)化數(shù)據(jù)領(lǐng)域—— 這或許意味著，那個依賴人工特征工程和場景化調(diào)參的時代，真的要過去了。

"當(dāng)算力天平已經(jīng)傾斜，平衡點也該重新定義。"

未來，隨著算力的持續(xù)增長和預(yù)訓(xùn)練范式的成熟，我們有理由相信：結(jié)構(gòu)化數(shù)據(jù)建模將迎來屬于自己的 "大模型時刻"。