北大聯(lián)合Llama-Factory推出DataFlex：工業(yè)級數(shù)據(jù)動(dòng)態(tài)訓(xùn)練系統(tǒng)

當(dāng)大模型訓(xùn)練進(jìn)入深水區(qū)，競爭的關(guān)鍵已經(jīng)不再只是「模型參數(shù)怎么調(diào)」，而逐漸轉(zhuǎn)向一個(gè)更核心、也更難系統(tǒng)解決的問題：模型在訓(xùn)練過程中究竟看到了什么數(shù)據(jù)、以什么比例看到、哪些樣本應(yīng)該被更頻繁地學(xué)習(xí)。

這些因素正在越來越直接地決定訓(xùn)練效率、泛化能力以及最終模型性能。

圍繞數(shù)據(jù)選擇、數(shù)據(jù)混合和樣本重加權(quán)，學(xué)術(shù)界已經(jīng)提出了不少方法。但長期以來，這些方法大多分散在彼此獨(dú)立的代碼倉庫中：接口不統(tǒng)一、訓(xùn)練流程不一致、復(fù)現(xiàn)門檻高、橫向比較困難。

更重要的是，很多方法依賴 embedding、模型打分、梯度或中間推理信號，真正難的從來不是「提出一個(gè)方法」，而是把這些方法穩(wěn)定、可復(fù)現(xiàn)地接入主流訓(xùn)練流程，并納入一套統(tǒng)一的訓(xùn)練閉環(huán)。

近日，北京大學(xué)張文濤教授、鄂維南院士團(tuán)隊(duì)，聯(lián)合 LLaMA-Factory Team、OpenDataLab、上海 AI Lab 等機(jī)構(gòu)，推出了面向大模型訓(xùn)練過程的數(shù)據(jù)中心動(dòng)態(tài)訓(xùn)練框架 DataFlex。

它并不是單一算法或若干腳本的簡單堆疊，而是一套建立在 LLaMA-Factory 之上的統(tǒng)一訓(xùn)練基礎(chǔ)設(shè)施：將動(dòng)態(tài)樣本選擇、動(dòng)態(tài)數(shù)據(jù)混合、動(dòng)態(tài)樣本加權(quán)三類核心能力真正納入訓(xùn)練過程，使「數(shù)據(jù)如何參與訓(xùn)練」從經(jīng)驗(yàn)式配置，升級為可控制、可優(yōu)化、可復(fù)現(xiàn)的系統(tǒng)能力。

換句話說，DataFlex 試圖解決的，并不只是某一個(gè)訓(xùn)練技巧是否有效，而是一個(gè)更底層的系統(tǒng)問題：如何讓數(shù)據(jù)像模型參數(shù)一樣，成為訓(xùn)練過程中可以持續(xù)調(diào)度和優(yōu)化的核心對象。

這使它既可以作為研究平臺(tái)，用于系統(tǒng)比較不同數(shù)據(jù)中心訓(xùn)練算法；也可以作為實(shí)用系統(tǒng)，直接服務(wù)于大模型預(yù)訓(xùn)練、后訓(xùn)練和領(lǐng)域適配等場景。

DataFlex 發(fā)布后，在 Hugging Face Daily Papers 榜單中迅速獲得廣泛關(guān)注并拿到了月榜第一。這種關(guān)注背后所反映的，本質(zhì)上是社區(qū)對「數(shù)據(jù)中心動(dòng)態(tài)訓(xùn)練」從理論走向工程閉環(huán)的里程碑式認(rèn)可。

DataFlex 不只是一個(gè)算法倉庫，而是一套數(shù)據(jù)中心訓(xùn)練基礎(chǔ)設(shè)施

• 可復(fù)現(xiàn)的研究平臺(tái)：在統(tǒng)一訓(xùn)練框架下系統(tǒng)比較動(dòng)態(tài)數(shù)據(jù)混合、樣本選擇和樣本加權(quán)等數(shù)據(jù)中心訓(xùn)練方法，覆蓋在線與離線場景，顯著降低研究復(fù)現(xiàn)與方法對比成本；
• 面向真實(shí)訓(xùn)練的優(yōu)化系統(tǒng)：將數(shù)據(jù)選擇、數(shù)據(jù)配比和樣本權(quán)重調(diào)節(jié)真正接入訓(xùn)練閉環(huán)，使數(shù)據(jù)從「靜態(tài)輸入」變成「可持續(xù)調(diào)度的優(yōu)化對象」，從而提升訓(xùn)練效率與最終模型效果。

• 技術(shù)報(bào)告：https://arxiv.org/abs/2603.26164
• 官方文檔：https://opendcai.github.io/DataFlex-Doc/
• Github 倉庫：https://github.com/OpenDCAI/DataFlex

DataFlex：大模型工業(yè)化數(shù)據(jù)調(diào)用的最后一塊拼圖

設(shè)計(jì)哲學(xué)：告別靜態(tài)投喂，把「數(shù)據(jù)調(diào)度」變成開箱即用的系統(tǒng)能力

1.核心概念：Data-Centric Dynamic Training System

DataFlex 的核心，不僅僅是再發(fā)一遍「數(shù)據(jù)很重要」的老生常談，而是直擊行業(yè)的最痛點(diǎn)：如何把「模型看什么數(shù)據(jù)、按什么比例看、優(yōu)先強(qiáng)化哪些樣本」這種玄學(xué)經(jīng)驗(yàn)，真正固化為可配置、可調(diào)度、可復(fù)現(xiàn)的標(biāo)準(zhǔn)化系統(tǒng)能力。它不僅僅關(guān)注參數(shù)的梯度更新，更死死盯住了數(shù)據(jù)在每一步訓(xùn)練中的真實(shí)參與度。

1.1從「填鴨式靜態(tài)輸入」到「數(shù)據(jù)主動(dòng)調(diào)度」

傳統(tǒng)的大模型訓(xùn)練中，數(shù)據(jù)往往被視為預(yù)先準(zhǔn)備好的靜態(tài)輸入：數(shù)據(jù)集先確定，采樣方式先寫死，訓(xùn)練過程中主要被持續(xù)優(yōu)化的是模型參數(shù)本身。但當(dāng)訓(xùn)練數(shù)據(jù)規(guī)模越來越大、來源越來越復(fù)雜時(shí)，真正決定效果的，已經(jīng)不只是「有沒有更多數(shù)據(jù)」，而是「訓(xùn)練時(shí)能否更聰明地使用數(shù)據(jù)」。

Data-centric dynamic training 的核心思想，是把數(shù)據(jù)從「被動(dòng)輸入」提升為「主動(dòng)調(diào)度對象」。系統(tǒng)不僅要決定模型看哪些數(shù)據(jù)，還要?jiǎng)討B(tài)決定不同數(shù)據(jù)源如何配比、哪些樣本應(yīng)被優(yōu)先學(xué)習(xí)、哪些樣本應(yīng)被降低權(quán)重。

DataFlex 的價(jià)值，正是在于把這種原本零散、分散在不同方法和代碼中的能力，推進(jìn)為統(tǒng)一、標(biāo)準(zhǔn)化的訓(xùn)練機(jī)制。

1.2零成本遷移的統(tǒng)一框架

好的系統(tǒng)不應(yīng)成為開發(fā)者的負(fù)擔(dān)。在動(dòng)態(tài)調(diào)度之外，DataFlex 更進(jìn)一步解決的是系統(tǒng)層問題：如何把原本分散的數(shù)據(jù)選擇、數(shù)據(jù)配比和數(shù)據(jù)重加權(quán)方法，統(tǒng)一納入同一套訓(xùn)練基礎(chǔ)設(shè)施。

一方面，DataFlex 建立在 LLaMA-Factory 之上，盡量復(fù)用已有的模型管理、數(shù)據(jù)處理和訓(xùn)練組件；另一方面，它在訓(xùn)練層引入統(tǒng)一的數(shù)據(jù)中心控制能力，使不同數(shù)據(jù)策略能夠在同一個(gè)訓(xùn)練閉環(huán)中被實(shí)現(xiàn)、比較和擴(kuò)展。

因此，DataFlex 不是若干數(shù)據(jù)算法的簡單集合，而是一套面向大模型訓(xùn)練過程的統(tǒng)一數(shù)據(jù)中心動(dòng)態(tài)訓(xùn)練系統(tǒng)。

2.三個(gè)設(shè)計(jì)原則

• 統(tǒng)一性：系統(tǒng)將數(shù)據(jù)中心訓(xùn)練中的三個(gè)代表性范式統(tǒng)一納入了同一訓(xùn)練框架；
• 兼容性：系統(tǒng)能夠融入現(xiàn)有的大規(guī)模模型訓(xùn)練基礎(chǔ)設(shè)施，而不是額外引入一套工作流；
• 可擴(kuò)展性：研究者可以以較低的工程成本實(shí)現(xiàn)并比較新的數(shù)據(jù)中心算法。

整體架構(gòu)

DataFlex 延續(xù)了 LLaMA-Factory 易用、清晰的設(shè)計(jì)思路，但在整體架構(gòu)上做了關(guān)鍵升級。其在不破壞現(xiàn)有訓(xùn)練生態(tài)的前提下，把數(shù)據(jù)中心訓(xùn)練真正做成了一套統(tǒng)一、可擴(kuò)展、可復(fù)現(xiàn)、可落地的系統(tǒng)能力。整個(gè)系統(tǒng)大致可以分為三層：

• 基礎(chǔ)層（Base Layer）：這一層繼承自 LLaMA-Factory，負(fù)責(zé)模型管理、數(shù)據(jù)處理、優(yōu)化器等通用訓(xùn)練能力。系統(tǒng)在盡量保持原有訓(xùn)練流程與使用習(xí)慣的同時(shí)，把擴(kuò)展重點(diǎn)集中在數(shù)據(jù)中心訓(xùn)練本身，降低了用戶從現(xiàn)有訓(xùn)練流程遷移到 DataFlex 的門檻。
• 訓(xùn)練器層（Trainer Layer）：它沒有沿用單一的原始 trainer，而是將訓(xùn)練過程抽象為三種數(shù)據(jù)中心訓(xùn)練模式，分別對應(yīng)數(shù)據(jù)選擇、數(shù)據(jù)混合和樣本加權(quán)。這一層把訓(xùn)練器從只負(fù)責(zé)參數(shù)更新，擴(kuò)展為同時(shí)負(fù)責(zé)數(shù)據(jù)決策與參數(shù)優(yōu)化。
• 策略組件層（Component Layer）：這里掛載的是具體算法組件，例如不同的 selector、mixer 和 weighter。它們各自封裝了不同方法的策略邏輯，并對訓(xùn)練器暴露了統(tǒng)一接口。

這種架構(gòu)實(shí)現(xiàn)了輕量替換，而不是重構(gòu)一切。DataFlex 并沒有在 LLaMA-Factory 外面再包一個(gè)復(fù)雜編排系統(tǒng)，而是聚焦于替換訓(xùn)練層，并僅在需要時(shí)對數(shù)據(jù)加載等模塊做最小擴(kuò)展。

對用戶來說，這接近一種「即插即用」的增強(qiáng)：已有的模型、數(shù)據(jù)集、訓(xùn)練參數(shù)配置都可以保留，只需要增加 DataFlex 相關(guān)配置，就能切換到以數(shù)據(jù)為中心的動(dòng)態(tài)訓(xùn)練模式。

此外，DataFlex 還統(tǒng)一封裝了數(shù)據(jù)中心方法普遍依賴的模型中間信號，比如 embedding 提取、模型推理、梯度計(jì)算等。很多數(shù)據(jù)選擇和數(shù)據(jù)加權(quán)方法真正難落地，不是因?yàn)樗枷霃?fù)雜，而是因?yàn)樗鼈円蕾嚨闹虚g信號獲取成本高、工程耦合重。DataFlex 把這類共享能力抽象出來，降低了實(shí)現(xiàn)和擴(kuò)展門檻，也為后續(xù)大規(guī)模訓(xùn)練提供了基礎(chǔ)。

核心功能

1.三個(gè)核心訓(xùn)練器

對應(yīng)當(dāng)前數(shù)據(jù)中心訓(xùn)練中典型的三種優(yōu)化方向，DataFlex 支持三類核心訓(xùn)練器：

• 動(dòng)態(tài)樣本選擇訓(xùn)練器（Dynamic Select Trainer）：在訓(xùn)練過程中動(dòng)態(tài)篩選更有價(jià)值的訓(xùn)練樣本，減少低價(jià)值或冗余樣本對訓(xùn)練預(yù)算的消耗，從而提升訓(xùn)練效率。
• 動(dòng)態(tài)數(shù)據(jù)混合訓(xùn)練器（Dynamic Mix Trainer）：面向多來源、多領(lǐng)域訓(xùn)練數(shù)據(jù)場景，在訓(xùn)練過程中動(dòng)態(tài)調(diào)整不同數(shù)據(jù)源的采樣比例，使模型能夠根據(jù)當(dāng)前學(xué)習(xí)狀態(tài)更合理地分配訓(xùn)練注意力。
• 動(dòng)態(tài)樣本加權(quán)訓(xùn)練器（Dynamic Weight Trainer）：針對不同樣本賦予不同訓(xùn)練權(quán)重，使模型能夠?qū)ΩP(guān)鍵、更困難或更具代表性的樣本進(jìn)行更有效學(xué)習(xí)，從而改善模型性能與泛化能力。

2.算法集成與可擴(kuò)展性

DataFlex 為三類訓(xùn)練器集成了 LESS、DoReMi、ODM、Loss Reweighting 等代表性方法。所有方法都以可插拔組件的形式，在統(tǒng)一接口下實(shí)現(xiàn)，從而能夠在受控條件下進(jìn)行公平比較。

科研上許多極具代表性的動(dòng)態(tài)訓(xùn)練方法，要么缺乏官方倉庫，要么其官方實(shí)現(xiàn)存在難以復(fù)現(xiàn)的問題。DataFlex 通過系統(tǒng)化的重構(gòu)，讓這些處于「失聯(lián)」或「半停滯」?fàn)顟B(tài)的算法重新具備了工業(yè)級生產(chǎn)力。

三類訓(xùn)練器分工不同，但背后遵循的是同一種數(shù)據(jù) — 模型交互邏輯：先觀察當(dāng)前模型狀態(tài)，再給出新的數(shù)據(jù)決策，隨后把這一決策反饋到后續(xù)訓(xùn)練中。

DataFlex 正是把這種共性的交互模式抽象成統(tǒng)一接口，從而讓不同算法能夠共享訓(xùn)練流程、基礎(chǔ)能力以及擴(kuò)展方式。 DataFlex 的配置文件繼續(xù)沿用了 LLaMA-Factory 的基于 YAML 的格式，用于指定模型、數(shù)據(jù)集和訓(xùn)練超參數(shù)。

唯一新增的是一個(gè)簡短的 dataflex 配置段，用于告訴框架要采用哪種數(shù)據(jù)中心策略，以及如何對其進(jìn)行調(diào)度。

使用方式

DataFlex 完全兼容 LlamaFactory 的配置和使用方式：

• 配置兼容：在 LlamaFactory 配置基礎(chǔ)上添加 DataFlex 參數(shù)；
• 命令一致：使用 dataflex-cli 替代 llamafactory-cli；
• 功能保持：支持所有 LlamaFactory 的原有功能；
• 無縫切換：可以通過 train_type: static 回退到原始訓(xùn)練模式。

環(huán)境配置、參數(shù)說明以及自定義組件接入方式，可進(jìn)一步參考官方文檔。除此之外，我們還提供了兩期視頻教程，分別演示了動(dòng)態(tài)數(shù)據(jù)混合與動(dòng)態(tài)數(shù)據(jù)選擇的具體操作流程，便于初次上手的用戶快速理解。

• 官方文檔：https://opendcai.github.io/DataFlex-Doc/
• Github 倉庫：https://github.com/OpenDCAI/DataFlex
• 視頻教程：

- 自動(dòng)數(shù)據(jù)選擇與動(dòng)態(tài)訓(xùn)練：https://b23.tv/BV1pHrKBoE6s

- 自動(dòng)優(yōu)化數(shù)據(jù)配比：https://b23.tv/LYYx1hG

實(shí)驗(yàn)效果

為了驗(yàn)證 DataFlex 的有效性，團(tuán)隊(duì)圍繞樣本選擇、數(shù)據(jù)混合和系統(tǒng)效率三方面進(jìn)行了系統(tǒng)實(shí)驗(yàn)，覆蓋 7 種數(shù)據(jù)選擇、2 種數(shù)據(jù)混合和 1 種數(shù)據(jù)重加權(quán)方法。整體結(jié)果表明，DataFlex 不僅能夠統(tǒng)一復(fù)現(xiàn)不同數(shù)據(jù)中心方法，還能在模型效果和訓(xùn)練效率上帶來穩(wěn)定提升。

數(shù)據(jù)選擇與樣本加權(quán)：動(dòng)態(tài)方法整體優(yōu)于靜態(tài)訓(xùn)練

在 Open-Hermes-2.5 子集上的實(shí)驗(yàn)顯示，無論是在 Mistral-7B 還是 Llama-3.2-3B 上，大多數(shù)動(dòng)態(tài)數(shù)據(jù)中心方法都優(yōu)于靜態(tài)全量訓(xùn)練基線。這表明在模型容量有限的情況下，能夠?qū)崟r(shí)感知模型狀態(tài)的動(dòng)態(tài)選擇策略對于達(dá)到性能上限至關(guān)重要 。

3.2 數(shù)據(jù)混合：動(dòng)態(tài)配比優(yōu)于默認(rèn)配比

在 SlimPajama 的 6B 和 30B 設(shè)置下，DoReMi 和 ODM 兩種數(shù)據(jù)混合算法都表現(xiàn)出了明顯優(yōu)勢。在 6B token 規(guī)模下，動(dòng)態(tài)數(shù)據(jù)混合方法已經(jīng)展現(xiàn)出明顯優(yōu)勢：ODM 在通用能力評測中的準(zhǔn)確率高于默認(rèn)靜態(tài)配比，而 DoReMi 則在整體困惑度上進(jìn)一步取得更優(yōu)結(jié)果，說明動(dòng)態(tài)調(diào)整不同數(shù)據(jù)域的配比，確實(shí)能夠帶來更好的訓(xùn)練收益。

系統(tǒng)效率：統(tǒng)一框架不僅易用，而且高效

除了效果提升，DataFlex 在效率上也有不錯(cuò)表現(xiàn)。以 LESS 為例，在單卡設(shè)置下，DataFlex 在多個(gè)采樣比例上都實(shí)現(xiàn)了更低訓(xùn)練耗時(shí)，例如在 1.0 比例下，訓(xùn)練時(shí)間從 30,239 秒降到 28,734 秒，同時(shí)準(zhǔn)確率從 40.38% 提升到 42.37%。進(jìn)一步在 8 張 H20 GPU 上，訓(xùn)練時(shí)間減少了 57.13%。

對于 TSDS 這類離線選擇方法，DataFlex 的重實(shí)現(xiàn)也在不同數(shù)據(jù)規(guī)模下取得了穩(wěn)定的 1%—3.5% 提速。

構(gòu)筑 AI 時(shí)代的數(shù)據(jù)生態(tài)

當(dāng)大模型技術(shù)演進(jìn)跨越了架構(gòu)探索的初級階段，行業(yè)的角逐核心已躍遷至「數(shù)據(jù)應(yīng)用」的深水區(qū)。

團(tuán)隊(duì)（PKU-DCAI）致力于在 Data-Centric AI（以數(shù)據(jù)為中心的 AI）浪潮中，構(gòu)筑支撐下一代 AI 應(yīng)用的數(shù)據(jù)基礎(chǔ)設(shè)施。本次開源的 DataFlex 與團(tuán)隊(duì)另一核心工作 DataFlow（3k+ Stars），共同為 AI 時(shí)代的數(shù)據(jù)應(yīng)用確立了從源頭到閉環(huán)的全新范式。

Github 倉庫：

• https://github.com/OpenDCAI/DataFlow
• https://github.com/OpenDCAI/DataFlex

面向 AI 時(shí)代海量且混沌的真實(shí)世界信息，DataFlow 的使命是打造「高智力密度」的數(shù)據(jù)提煉工場。承接 DataFlow 提煉的高階數(shù)據(jù)，DataFlex 真正將「數(shù)據(jù)應(yīng)用」的觸角深入到了模型訓(xùn)練的原子層。它不僅是在加速模型的收斂，更是在系統(tǒng)層面控制模型的泛化能力與知識吸收軌跡，確保數(shù)據(jù)的潛在價(jià)值被極致地變現(xiàn)為 AI 的頂尖實(shí)戰(zhàn)能力。

作者信息

作者是來自北京大學(xué)的 DCAI 團(tuán)隊(duì)，深耕于 AI 數(shù)據(jù)側(cè)的底層革新與系統(tǒng)落地，擁有該領(lǐng)域最前沿的算法儲(chǔ)備與工程經(jīng)驗(yàn)。

梁昊：北京大學(xué)大數(shù)據(jù)科學(xué)研究中心博士，開源項(xiàng)目 DataFlow leader，第一作者 / 共同第一作者發(fā)表 9 篇 CCF-A 論文。

趙正陽：北京大學(xué)大數(shù)據(jù)科學(xué)研究中心博士，開源項(xiàng)目 DataFlow 核心開發(fā)者，元樞智匯高級算法研究員。

強(qiáng)美伊：北京大學(xué)軟件與微電子學(xué)院碩士，開源項(xiàng)目 DataFlow 核心開發(fā)者，發(fā)表期刊 / CCF-A 論文 7 篇。

大家堅(jiān)信，大模型競爭的終點(diǎn)不在于單一算法的博弈，而在于構(gòu)建一套統(tǒng)一、高效、且可復(fù)現(xiàn)的數(shù)據(jù)中心化基礎(chǔ)設(shè)施。

開源只是起點(diǎn)，生態(tài)需要共建。歡迎學(xué)術(shù)界與工業(yè)界的同仁關(guān)注、使用 OpenDCAI 系列開源項(xiàng)目，并與團(tuán)隊(duì)進(jìn)行深度的技術(shù)探討。