合成數(shù)據(jù)≠生成模型：一文讀懂合成數(shù)據(jù)的全新范式

新智元報(bào)道

編輯：LRST

【新智元導(dǎo)讀】最新研究提出合成數(shù)據(jù)的全新分類框架，突破「生成模型=合成數(shù)據(jù)」的傳統(tǒng)認(rèn)知，涵蓋反演、仿真與數(shù)據(jù)增強(qiáng)等方法，并按應(yīng)用層次劃分為數(shù)據(jù)中心AI、模型中心AI、可信AI和具身AI。

隨著基礎(chǔ)模型規(guī)模不斷擴(kuò)大，真實(shí)數(shù)據(jù)在成本、隱私、質(zhì)量和可控性上的限制，正逐漸成為 AI 繼續(xù)發(fā)展的關(guān)鍵瓶頸。

尤其是在醫(yī)療等高價(jià)值場(chǎng)景中，真實(shí)數(shù)據(jù)本身難以獲取，「依賴數(shù)據(jù)自然產(chǎn)生」的范式正在失效。

在這樣的背景下，合成數(shù)據(jù)正在從「真實(shí)數(shù)據(jù)的補(bǔ)充」，轉(zhuǎn)變?yōu)椤爸鲃?dòng)構(gòu)造高質(zhì)量訓(xùn)練與評(píng)估數(shù)據(jù)的核心機(jī)制”。

基于對(duì)300+篇代表性文獻(xiàn)的系統(tǒng)梳理，南洋理工大學(xué)、清華大學(xué)、四川大學(xué)、中山大學(xué)的研究人員提出了一個(gè)統(tǒng)一的How / Why / Where框架，重新定義了合成數(shù)據(jù)的方法邊界，并從應(yīng)用層面給出了更完整的發(fā)展路徑。

論文鏈接：https://www.techrxiv.org/users/1016218/articles/1378802-synthetic-data-beyond-generative-models-a-comprehensive-survey-of-how-why-and-where

論文資源庫(kù)：https://github.com/Egg-Hu/Awesome-Synthetic-Data-Generation

首先，合成數(shù)據(jù)方法該如何分類？

很多工作默認(rèn)認(rèn)為「合成數(shù)據(jù) = 生成模型」，該綜述重新定義了「數(shù)據(jù)合成」的方法邊界，跳出「合成數(shù)據(jù) = 生成模型」的單一視角。也就是說，合成數(shù)據(jù)并不等同于“用生成模型造數(shù)據(jù)”，反演、仿真、增強(qiáng)等方式也都應(yīng)被納入合成數(shù)據(jù)的范疇。

下表給出了整體分類框架：

第二，合成數(shù)據(jù)應(yīng)用在哪些核心場(chǎng)景？

不同于以往按具體任務(wù)或領(lǐng)域劃分的方式，本文從更高層次出發(fā)，將合成數(shù)據(jù)的應(yīng)用組織為一條逐步演進(jìn)的能力路徑。

在這一框架下，最基礎(chǔ)的是數(shù)據(jù)中心人工智能（Data-centric AI），其核心目標(biāo)是解決真實(shí)數(shù)據(jù)稀缺、獲取成本高以及隱私受限等問題，通過合成數(shù)據(jù)擴(kuò)展訓(xùn)練集并提升數(shù)據(jù)質(zhì)量，為模型訓(xùn)練提供穩(wěn)定的數(shù)據(jù)基礎(chǔ)。

在此之上，隨著數(shù)據(jù)可獲得性的提升，研究重點(diǎn)逐漸轉(zhuǎn)向模型中心人工智能（Model-centric AI），此時(shí)合成數(shù)據(jù)不僅用于補(bǔ)充數(shù)據(jù)，還被用于能力注入，例如提升模型的推理、編碼與對(duì)齊能力，并構(gòu)建可控的評(píng)測(cè)基準(zhǔn)。

進(jìn)一步地，隨著模型能力的增強(qiáng)，對(duì)系統(tǒng)可靠性的需求不斷提高，催生了可信人工智能（Trustworthy AI），在這一階段，合成數(shù)據(jù)被廣泛用于隱私保護(hù)、安全防護(hù)、公平性提升以及模型可解釋性分析。

最后，合成數(shù)據(jù)的應(yīng)用從數(shù)字空間走向現(xiàn)實(shí)世界，對(duì)應(yīng)的是具身智能（Embodied AI），其目標(biāo)是支持感知、交互與泛化能力，使智能體能夠在復(fù)雜物理環(huán)境中進(jìn)行決策與行動(dòng)。下表給出了整體結(jié)構(gòu)（具體細(xì)節(jié)可參考原論文）：

進(jìn)一步地，文章將上述四類應(yīng)用場(chǎng)景細(xì)化到了 30+ 個(gè)具體機(jī)器學(xué)習(xí)任務(wù)層級(jí)，從而構(gòu)建起從宏觀分類到具體問題的系統(tǒng)化映射。

如下圖所示，每一類場(chǎng)景都被進(jìn)一步拆解為多個(gè)典型問題：例如，在數(shù)據(jù)中心人工智能中，涵蓋了零/少樣本學(xué)習(xí)、聯(lián)邦學(xué)習(xí)、無(wú)數(shù)據(jù)學(xué)習(xí)、數(shù)據(jù)蒸餾等任務(wù)；在模型中心人工智能中，則進(jìn)一步細(xì)化為模型通用能力提升，以及推理、編碼、指令對(duì)齊等特定能力的增強(qiáng)，同時(shí)也包括基于合成數(shù)據(jù)的模型評(píng)測(cè)任務(wù)；

在可信人工智能中，主要聚焦于隱私保護(hù)、模型攻擊、安全防護(hù)、長(zhǎng)尾學(xué)習(xí)與可解釋性等任務(wù)；而在具身智能中，則進(jìn)一步延伸到感知、交互以及跨場(chǎng)景泛化等面向真實(shí)環(huán)境的任務(wù)。

最后，合成數(shù)據(jù)面臨哪些挑戰(zhàn)與機(jī)遇？

盡管在方法體系與應(yīng)用落地方面已經(jīng)取得了顯著進(jìn)展，但合成數(shù)據(jù)仍處于快速發(fā)展階段，仍然存在一系列關(guān)鍵挑戰(zhàn)有待解決。

• 隨著模型越來越多地依賴自生成數(shù)據(jù)進(jìn)行訓(xùn)練，一個(gè)核心風(fēng)險(xiǎn)逐漸顯現(xiàn)：模型坍塌（model collapse）。當(dāng)模型反復(fù)在自身生成的數(shù)據(jù)上迭代訓(xùn)練時(shí)，可能導(dǎo)致分布逐漸收縮，數(shù)據(jù)多樣性下降，從而影響模型性能與泛化能力。

• 在實(shí)際應(yīng)用中，如何在數(shù)據(jù)效用與隱私保護(hù)之間取得平衡，仍然是一個(gè)長(zhǎng)期存在的問題，即所謂的數(shù)據(jù)效用與隱私保護(hù)的權(quán)衡（utility–privacy tradeoff）。過強(qiáng)的隱私約束可能降低數(shù)據(jù)可用性，而過高的數(shù)據(jù)保真度又可能帶來潛在的隱私泄露風(fēng)險(xiǎn)。

• 當(dāng)合成數(shù)據(jù)被用于模型評(píng)測(cè)時(shí)，還可能引入新的偏差來源。例如，生成-評(píng)測(cè)偏差（generation–evaluation bias）指的是模型在由相似生成機(jī)制產(chǎn)生的測(cè)試數(shù)據(jù)上表現(xiàn)更優(yōu)，從而導(dǎo)致評(píng)估結(jié)果失真，影響對(duì)模型真實(shí)能力的判斷。

• 在方法層面，多個(gè)前沿方向也仍有待探索。例如，主動(dòng)式數(shù)據(jù)合成（active data synthesis）強(qiáng)調(diào)根據(jù)模型需求動(dòng)態(tài)生成最有價(jià)值的數(shù)據(jù)，以提升數(shù)據(jù)利用效率；而多模態(tài)數(shù)據(jù)合成（multi-modal data synthesis）則關(guān)注如何生成語(yǔ)義一致、跨模態(tài)對(duì)齊的高質(zhì)量數(shù)據(jù)，這對(duì)于多模態(tài)模型的發(fā)展尤為關(guān)鍵。

• 最后，一個(gè)基礎(chǔ)但尚未完全解決的問題是：如何系統(tǒng)性評(píng)估合成數(shù)據(jù)的質(zhì)量。這不僅包括數(shù)據(jù)的有效性（utility）與多樣性（diversity），還涉及隱私（privacy）與安全性（security）等多個(gè)維度，目前仍缺乏統(tǒng)一且標(biāo)準(zhǔn)化的評(píng)測(cè)體系。

下圖給出了該綜述的總體整理框架，具體細(xì)節(jié)可參考原文。

這篇綜述最值得關(guān)注的地方，不只是整理了現(xiàn)有方法，更重要的是它改變了我們理解合成數(shù)據(jù)的方式： 合成數(shù)據(jù)不再只是生成模型的一個(gè)應(yīng)用方向，而正在成為連接數(shù)據(jù)、模型、評(píng)測(cè)與真實(shí)世界交互的新型基礎(chǔ)設(shè)施。

如果說過去AI的競(jìng)爭(zhēng)核心是「誰(shuí)擁有更多真實(shí)數(shù)據(jù)」，那么未來很可能會(huì)變成「誰(shuí)能更高效、更安全、更可控地生成高價(jià)值數(shù)據(jù)」。

參考資料：

https://www.techrxiv.org/users/1016218/articles/1378802-synthetic-data-beyond-generative-models-a-comprehensive-survey-of-how-why-and-where