圖像編輯革命！UniWorld-V2實(shí)現(xiàn)超精準(zhǔn)指令跟隨

始智AI wisemodel.cn社區(qū)是源自中國(guó)的中立開放的AI開源社區(qū)。正在，歡迎加入共同成長(zhǎng)。

在 AI 圖像生成技術(shù)飛速發(fā)展的今天，指令型圖像編輯已成為熱門賽道。只需輸入文字描述，就能讓 AI 精準(zhǔn)修改圖像內(nèi)容。但傳統(tǒng)模型往往受限于有監(jiān)督微調(diào)的固有缺陷，容易過度擬合訓(xùn)練數(shù)據(jù)，難以應(yīng)對(duì)復(fù)雜多樣的編輯需求。近日，北京大學(xué)與Rabbitpre AI聯(lián)合團(tuán)隊(duì)推出的UniWorld-V2，憑借創(chuàng)新的Edit-R1 后訓(xùn)練框架，在兩大權(quán)威基準(zhǔn)測(cè)試中刷新紀(jì)錄，為圖像編輯技術(shù)帶來突破性進(jìn)展！已上線始智AI-wisemodel開源社區(qū)，歡迎體驗(yàn)。

模型地址

https://wisemodel.cn/models/PKU-YUAN/UniWorld-V2

01.

核心痛點(diǎn)：

傳統(tǒng)圖像編輯模型的三大瓶頸

盡管 diffusion 模型已大幅提升文本到圖像的生成質(zhì)量，但指令型圖像編輯仍面臨諸多挑戰(zhàn)：

1. 泛化能力弱：有監(jiān)督微調(diào)（SFT）范式易導(dǎo)致模型 "走捷徑"，忽視復(fù)雜指令，僅局限于還原訓(xùn)練數(shù)據(jù)中的模式；
2. 可控性不足：難以在精準(zhǔn)執(zhí)行編輯指令的同時(shí)，完整保留圖像中未編輯區(qū)域的內(nèi)容；
3. 獎(jiǎng)勵(lì)機(jī)制缺失：編輯任務(wù)類型多樣，缺乏統(tǒng)一、高質(zhì)量的獎(jiǎng)勵(lì)模型來指導(dǎo)模型優(yōu)化，導(dǎo)致訓(xùn)練穩(wěn)定性差。

此前嘗試將強(qiáng)化學(xué)習(xí)（RL）應(yīng)用于擴(kuò)散模型的方案，要么存在系統(tǒng)性偏差，要么依賴復(fù)雜推理導(dǎo)致計(jì)算成本過高，始終未能實(shí)現(xiàn)兼顧效率與效果的突破。

02.

技術(shù)革新：

Edit-R1框架的三大核心亮點(diǎn)

UniWorld-V2 的成功源于其創(chuàng)新的 Edit-R1 后訓(xùn)練框架，通過三大核心設(shè)計(jì)破解行業(yè)痛點(diǎn)：

1. 擴(kuò)散負(fù)感知微調(diào)（DiffusionNFT）：更高效的政策優(yōu)化

摒棄傳統(tǒng)依賴似然估計(jì)的強(qiáng)化學(xué)習(xí)方法，采用與流匹配前向過程一致的無似然政策優(yōu)化技術(shù)。這種方法實(shí)現(xiàn)了訓(xùn)練與采樣的解耦，支持黑盒求解器，不僅能兼容高階采樣器提升生成效率，還能有效避免系統(tǒng)性偏差，在探索多樣編輯可能的同時(shí)保證生成質(zhì)量。

2. 免訓(xùn)練 MLLM 獎(jiǎng)勵(lì)模型：精準(zhǔn)對(duì)齊人類偏好

創(chuàng)新性地將多模態(tài)大語言模型（MLLM）作為統(tǒng)一獎(jiǎng)勵(lì)模型，無需額外訓(xùn)練即可提供細(xì)粒度反饋。不同于傳統(tǒng)的離散評(píng)分或鏈?zhǔn)酵评恚–oT）方法，該模型采用基于 logit 的連續(xù)評(píng)分機(jī)制，直接從模型輸出的 token 分布中計(jì)算期望得分，既保證了評(píng)估的可解釋性，又降低了計(jì)算成本，同時(shí)避免了推理偏差。實(shí)驗(yàn)表明，該獎(jiǎng)勵(lì)機(jī)制與人類偏好的對(duì)齊準(zhǔn)確率高達(dá) 74.74%，遠(yuǎn)超其他主流方法。

3. 低方差組過濾：穩(wěn)定訓(xùn)練過程

針對(duì) MLLM 評(píng)分可能存在的噪聲問題，設(shè)計(jì)了智能過濾機(jī)制。通過設(shè)置均值和方差閾值，自動(dòng)剔除那些評(píng)分高度相似、無法反映真實(shí)質(zhì)量差異的樣本組，避免噪聲放大影響訓(xùn)練效果，讓模型優(yōu)化始終朝著正確方向推進(jìn)。

03.

性能碾壓：

權(quán)威基準(zhǔn)測(cè)試刷新紀(jì)錄

UniWorld-V2 在兩大權(quán)威基準(zhǔn)測(cè)試中展現(xiàn)出壓倒性優(yōu)勢(shì)：

• 在 ImgEdit 基準(zhǔn)測(cè)試中，以 4.49 的總分位列第一，大幅超越 GPT-Image-1（4.20）等知名閉源模型；

• 在 GEdit-Bench 基準(zhǔn)測(cè)試中，更是以 7.83 的高分刷新紀(jì)錄，展現(xiàn)出極強(qiáng)的跨場(chǎng)景泛化能力。

更值得關(guān)注的是，該框架具有模型無關(guān)性，將其應(yīng)用于 Qwen-Image-Edit、FLUX-Kontext 等不同基礎(chǔ)模型時(shí)，均能實(shí)現(xiàn)顯著性能提升。例如，F(xiàn)LUX.1-Kontext [Dev] 版本經(jīng)優(yōu)化后，總分從 3.71 提升至 4.02，成功超越其更強(qiáng)的 Pro 版本（4.00）；Qwen-Image-Edit 優(yōu)化后在 GEdit-Bench 上的得分從 7.54 提升至 7.76，成為開源模型中的佼佼者。

在人類偏好測(cè)試中，優(yōu)化后的模型在指令對(duì)齊維度大幅領(lǐng)先官方版本，即便在圖像質(zhì)量上與主流模型持平，仍因更精準(zhǔn)的指令跟隨能力獲得用戶青睞，充分證明其獎(jiǎng)勵(lì)機(jī)制與人類需求的高度契合。

04.

適用場(chǎng)景：

覆蓋九大編輯任務(wù)，落地性拉滿

視頻生成模型的訓(xùn)練成本極高，而業(yè)界傳統(tǒng)的視頻VAE優(yōu)化目標(biāo)主要針對(duì)像素級(jí)重構(gòu)質(zhì)量。但研究發(fā)現(xiàn)，相比于重構(gòu)質(zhì)量，隱變量結(jié)構(gòu)對(duì)擴(kuò)散模型的收斂貢獻(xiàn)更大。

UniWorld-V2 的訓(xùn)練數(shù)據(jù)集包含 27,572 個(gè)樣本，覆蓋替換、調(diào)整、移除、背景編輯、文本修改、紅框控制等九大任務(wù)類型，幾乎涵蓋日常及專業(yè)場(chǎng)景的所有圖像編輯需求：

• 文字修改：將 "SHEFFIELD" 替換為 "EDINBURGH"，精準(zhǔn)還原字體風(fēng)格；

• 內(nèi)容替換：把人物替換為復(fù)古留聲機(jī)，保持場(chǎng)景協(xié)調(diào)性；

• 屬性調(diào)整：改變動(dòng)物毛發(fā)顏色、輕微抬起人物頭部，細(xì)節(jié)處理自然；

• 元素操作：移除圖像中的特定物體、提取目標(biāo)元素，不破壞背景完整性。

無論是日常修圖、設(shè)計(jì)創(chuàng)作，還是專業(yè)場(chǎng)景的圖像優(yōu)化，UniWorld-V2 都能憑借強(qiáng)大的泛化能力和精準(zhǔn)的指令跟隨，成為高效工具。

UniWorld-V2 的推出，不僅通過技術(shù)創(chuàng)新解決了傳統(tǒng)圖像編輯模型的核心痛點(diǎn)，更證明了 MLLM 與擴(kuò)散模型結(jié)合的巨大潛力。其 Edit-R1 框架無需依賴復(fù)雜的領(lǐng)域特定數(shù)據(jù)集，即可快速提升各類基礎(chǔ)模型的編輯性能，為圖像編輯技術(shù)的工業(yè)化應(yīng)用提供了高效解決方案。

----- END -----

wisemodel相關(guān)：

系列模型：

關(guān)于wisemodel更多

1

歡迎持續(xù)關(guān)注和支持

開源社區(qū)建設(shè)需要長(zhǎng)期堅(jiān)持和投入，更需要廣大用戶的積極參與、貢獻(xiàn)和維護(hù)，歡迎大家加入wisemodel開源社區(qū)的志愿者計(jì)劃和開源共創(chuàng)計(jì)劃。期待更多開發(fā)者將開源成果，包括模型、數(shù)據(jù)集和代碼等發(fā)布到 wisemodel.cn 社區(qū)，共建中立、開放的AI開源社區(qū)生態(tài)。歡迎掃碼添加wisemodel微信，申請(qǐng)加入wisemodel社群，持續(xù)關(guān)注wisemodel.cn開源社區(qū)動(dòng)態(tài)。

2

歡迎加盟wisemodel開源社區(qū)

始智AI wisemodel社區(qū)自2023年9月上線以來，逐漸成為影響力日益擴(kuò)大的中立開放的AI開源社區(qū)，為了加快公司發(fā)展，我們長(zhǎng)期需要技術(shù)、運(yùn)營(yíng)等人才加盟，技術(shù)側(cè)重在AI infra、后端開發(fā)，熟悉K8S、模型訓(xùn)練和推理等技術(shù)， 以及熟悉開發(fā)者生態(tài)運(yùn)營(yíng)的成員，歡迎感興趣的朋友加盟，可以通過添加wisemodel微信，或者將簡(jiǎn)歷投遞到郵箱：liudaoquan@wisemodel.cn

3

歡迎投稿優(yōu)質(zhì)內(nèi)容

歡迎投稿分享人工智能領(lǐng)域相關(guān)的優(yōu)秀研究成果，鼓勵(lì)高校實(shí)驗(yàn)室、大企業(yè)研究團(tuán)隊(duì)、個(gè)人等，在wisemodel平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是AI領(lǐng)域最新論文解讀、最新開源成果介紹，也可以是關(guān)于AI技術(shù)實(shí)踐、應(yīng)用和總結(jié)等。投稿可以發(fā)郵件到liudaoquan@wisemodel.cn，也可以掃碼添加wisemodel微信。

4

關(guān)于wisemodel開源社區(qū)

始智AI wisemodel.cn開源社區(qū)由清華校友總會(huì)AI大數(shù)據(jù)專委會(huì)副秘書長(zhǎng)劉道全創(chuàng)立，旨在打造和建設(shè)中立開放的AI開源創(chuàng)新社區(qū)，將打造成“HuggingFace”之外最活躍的AI開源社區(qū)，匯聚主要AI開源模型、數(shù)據(jù)集和代碼等，歡迎高校科研院所、大型互聯(lián)網(wǎng)公司、創(chuàng)新創(chuàng)業(yè)企業(yè)、廣大個(gè)人開發(fā)者，以及政府部門、學(xué)會(huì)協(xié)會(huì)、聯(lián)盟、基金會(huì)等，還有投資機(jī)構(gòu)、科技媒體等，共同參與建設(shè)AI開源創(chuàng)新生態(tài)。

向上滑動(dòng)查看