復(fù)旦Game-RL用游戲數(shù)據(jù)解鎖增強VLM通用推理新路徑

始智AI wisemodel.cn社區(qū)是源自中國的中立開放的AI開源社區(qū)。正在，歡迎加入共同成長。

現(xiàn)有工作利用RL提升了視覺語言模型（VLM）的推理能力，但其任務(wù)場景往往是幾何或者圖表推理。這種領(lǐng)域上的局限，制約了VLM的探索和學(xué)習(xí)。如何拓展VLM的RL訓(xùn)練領(lǐng)域呢？

電子游戲視覺元素豐富，且規(guī)則明確而可驗證，因而是理想的多模態(tài)推理數(shù)據(jù)源。由此，復(fù)旦大學(xué)NLP實驗室的研究團(tuán)隊提出了Game-RL——構(gòu)造多模態(tài)可驗證的游戲任務(wù)來強化訓(xùn)練VLM。為獲得訓(xùn)練數(shù)據(jù)（如圖1的示例），研究人員還提出了新穎的Code2Logic方法，通過游戲代碼系統(tǒng)化合成數(shù)據(jù)。

圖1：GameQA數(shù)據(jù)集中各游戲類別的代表性游戲：3D重建、七巧板（變體）、數(shù)獨和推箱子。各游戲展示兩個視覺問答示例，包含當(dāng)前游戲狀態(tài)圖片，相應(yīng)的問題，以及逐步推理過程和答案。

Code2Logic方法創(chuàng)新性地基于游戲代碼合成多模態(tài)可驗證游戲任務(wù)數(shù)據(jù)。如圖2，利用強LLM生成游戲代碼、設(shè)計任務(wù)及其模板、構(gòu)建數(shù)據(jù)引擎代碼，最后只要執(zhí)行代碼便能自動生成數(shù)據(jù)。

圖2：Code2Logic方法，借助LLM通過三個核心步驟將游戲代碼轉(zhuǎn)換為推理數(shù)據(jù)。第一步：游戲代碼構(gòu)建；第二步：游戲任務(wù)及其QA模板設(shè)計；第三步：數(shù)據(jù)引擎構(gòu)建，基于前兩步構(gòu)建自動化程序，然后只要執(zhí)行代碼就能自動批量生成數(shù)據(jù)。

目前研究成果均已上線始智AI-wisemodel開源社區(qū)，歡迎體驗。

模型和數(shù)據(jù)集地址

https://www.wisemodel.cn/organization/Code2Logic

01.

GameQA豐富的游戲任務(wù)數(shù)據(jù)集

利用Code2Logic方法構(gòu)建了GameQA數(shù)據(jù)集，這些多模態(tài)可驗證游戲數(shù)據(jù)可以用于VLM推理能力的訓(xùn)練和評測。

GameQA有：4大認(rèn)知能力類別、30個游戲（如圖3）、158個推理任務(wù)、14萬個問答對。

難度分級：任務(wù)按難度分三級；樣本按視覺輸入復(fù)雜度分三級。

圖3：GameQA的30個游戲，分為4個認(rèn)知能力類別，涵蓋3D空間推理、模式識別與匹配、多步推理、策略規(guī)劃。20個域內(nèi)游戲用于訓(xùn)練和測試，而10個域外游戲不參與訓(xùn)練，用于測試模型在未見游戲場景下的泛化能力。

02.

Game-RL可提升VLM的通用推理

在GameQA上使用GRPO訓(xùn)練，4個開源VLM在7個完全域外的通用視覺語言推理基準(zhǔn)上均取得提升（Qwen2.5-VL-7B平均提升2.33%），展現(xiàn)出跨領(lǐng)域泛化，如表1。

表1：通用視覺語言推理基準(zhǔn)上的評測結(jié)果

03.

GameQA匹敵幾何數(shù)據(jù)集

研究團(tuán)隊用GameQA和幾何與圖表推理數(shù)據(jù)集進(jìn)行對比訓(xùn)練，發(fā)現(xiàn)GameQA可與之匹敵。

如表2，盡管訓(xùn)練數(shù)據(jù)量更少且領(lǐng)域不匹配，但GameQA訓(xùn)的模型在通用基準(zhǔn)上總體表現(xiàn)很有競爭力。而且在MathVista與MathVerse這兩個和幾何與函數(shù)推理有關(guān)的基準(zhǔn)上，Game竟能匹敵更「對口」的幾何推理數(shù)據(jù)訓(xùn)練。

這表明游戲中的認(rèn)知多樣性和推理復(fù)雜性，具有通用性和遷移能力。

表2：對比訓(xùn)練，5K GameQA樣本 vs. 8K MAVIS（幾何與函數(shù)視覺推理）vs. 8K Multimodal-Open-R1（以幾何推理為主）vs. 8K MultiMath（綜合的數(shù)學(xué)領(lǐng)域多模態(tài)推理），GameQA訓(xùn)練的模型總體很有競爭力，實驗也顯示混合訓(xùn)練（MultiMath中加入GameQA數(shù)據(jù)）能助力模型提得更多。

04.

訓(xùn)練數(shù)據(jù)量和游戲個數(shù)的影響

數(shù)據(jù)量的Scaling Effect：加大訓(xùn)練的GameQA數(shù)據(jù)量至20K，實驗顯示，模型在通用推理基準(zhǔn)上的表現(xiàn)總體呈持續(xù)提升，如圖4。

圖4：訓(xùn)練數(shù)據(jù)量的Scaling Effect

游戲個數(shù)的Scaling Effect：隨著訓(xùn)練的游戲種類變多，域外泛化效果增強，如圖5。

圖5：使用20種游戲的任務(wù)訓(xùn)練，模型在域外通用基準(zhǔn)上的提升優(yōu)于使用4種或10種游戲的配置。

05.

Game-RL后模型能力提升在哪？

為更好理解Game-RL對VLM推理能力的提升，研究團(tuán)隊隨機采樣了案例進(jìn)行了細(xì)致的人工分析。結(jié)果顯示，Game-RL后，模型在視覺感知和文本推理兩個方面都有提升，如圖6。

圖6：人工定性分析得知模型的視覺感知和文本推理能力均有提升。上方的兩個餅圖分別是域外通用基準(zhǔn)上，視覺感知和文本推理能力的變化情況，下方是視覺感知能力提升的一個案例。

研究提出了Game-RL以及游戲數(shù)據(jù)合成方法Code2Logic，構(gòu)建了GameQA數(shù)據(jù)集，將VLM強化訓(xùn)練領(lǐng)域拓展到游戲場景。通過實驗，研究團(tuán)隊驗證了Game-RL能提升VLM的通用推理。進(jìn)一步而言，也揭示了游戲場景可以提供多模態(tài)、可控、可驗證數(shù)據(jù)，具有重要價值。

----- END -----

wisemodel相關(guān)：

系列模型：

關(guān)于wisemodel更多

1

歡迎持續(xù)關(guān)注和支持

開源社區(qū)建設(shè)需要長期堅持和投入，更需要廣大用戶的積極參與、貢獻(xiàn)和維護(hù)，歡迎大家加入wisemodel開源社區(qū)的志愿者計劃和開源共創(chuàng)計劃。期待更多開發(fā)者將開源成果，包括模型、數(shù)據(jù)集和代碼等發(fā)布到 wisemodel.cn 社區(qū)，共建中立、開放的AI開源社區(qū)生態(tài)。歡迎掃碼添加wisemodel微信，申請加入wisemodel社群，持續(xù)關(guān)注wisemodel.cn開源社區(qū)動態(tài)。

2

歡迎加盟wisemodel開源社區(qū)

始智AI wisemodel社區(qū)自2023年9月上線以來，逐漸成為影響力日益擴(kuò)大的中立開放的AI開源社區(qū)，為了加快公司發(fā)展，我們長期需要技術(shù)、運營等人才加盟，技術(shù)側(cè)重在AI infra、后端開發(fā)，熟悉K8S、模型訓(xùn)練和推理等技術(shù)， 以及熟悉開發(fā)者生態(tài)運營的成員，歡迎感興趣的朋友加盟，可以通過添加wisemodel微信，或者將簡歷投遞到郵箱：liudaoquan@wisemodel.cn

3

歡迎投稿優(yōu)質(zhì)內(nèi)容

歡迎投稿分享人工智能領(lǐng)域相關(guān)的優(yōu)秀研究成果，鼓勵高校實驗室、大企業(yè)研究團(tuán)隊、個人等，在wisemodel平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是AI領(lǐng)域最新論文解讀、最新開源成果介紹，也可以是關(guān)于AI技術(shù)實踐、應(yīng)用和總結(jié)等。投稿可以發(fā)郵件到liudaoquan@wisemodel.cn，也可以掃碼添加wisemodel微信。

4

關(guān)于wisemodel開源社區(qū)

始智AI wisemodel.cn開源社區(qū)由清華校友總會AI大數(shù)據(jù)專委會副秘書長劉道全創(chuàng)立，旨在打造和建設(shè)中立開放的AI開源創(chuàng)新社區(qū)，將打造成“HuggingFace”之外最活躍的AI開源社區(qū)，匯聚主要AI開源模型、數(shù)據(jù)集和代碼等，歡迎高?？蒲性核?、大型互聯(lián)網(wǎng)公司、創(chuàng)新創(chuàng)業(yè)企業(yè)、廣大個人開發(fā)者，以及政府部門、學(xué)會協(xié)會、聯(lián)盟、基金會等，還有投資機構(gòu)、科技媒體等，共同參與建設(shè)AI開源創(chuàng)新生態(tài)。