教龍蝦玩手機(jī)！打通GUI智能體訓(xùn)練-評測-部署全流程，一站解決

ClawGUI團(tuán)隊 投稿
量子位 | 公眾號 QbitAI

沒有人工干預(yù)，沒有預(yù)設(shè)腳本，AI自己看屏幕、判斷局面、規(guī)劃消除路徑、點擊執(zhí)行。

看著它一步步把方塊消掉，莫名有種解壓感。

這不是游戲外掛，而是一個通用GUI智能體在「認(rèn)真工作」：它用的是和操作手機(jī)App、填寫表單、瀏覽網(wǎng)頁完全相同的視覺理解與操控能力。能玩消消樂，只是因為它真的學(xué)會了「看懂屏幕并操作」這件事。

那么問題來了：一個能自己玩消消樂的AI，離替你完成日常手機(jī)操作還有多遠(yuǎn)？不是那種「幫我設(shè)個鬧鐘」的語音助手，而是真正像人一樣，看屏幕、理解界面、滑動點擊、逐步完成復(fù)雜任務(wù)的智能體。

當(dāng)前GUI智能體研究普遍面臨一個結(jié)構(gòu)性挑戰(zhàn)：訓(xùn)練、評測、部署三個環(huán)節(jié)彼此割裂，難以形成閉環(huán)。模型在仿真環(huán)境里訓(xùn)練完成后，往往缺乏配套的工程路徑遷移到真實設(shè)備；評測體系標(biāo)準(zhǔn)不一，不同框架下的數(shù)字難以橫向比較；而部署到真實設(shè)備，又需要獨立搭建一套工程基礎(chǔ)設(shè)施。三個環(huán)節(jié)各自為戰(zhàn)，整體推進(jìn)的成本極高。

今天，來自ZJU-REAL的團(tuán)隊帶來了ClawGUI，一個覆蓋GUI智能體在線RL訓(xùn)練、標(biāo)準(zhǔn)化評測、真機(jī)部署完整生命周期的開源框架。不是三個獨立工具的簡單拼接，而是一條打通的流水線：用ClawGUI-RL訓(xùn)練，用ClawGUI-Eval評測，用OpenClaw-GUI部署，端到端驗證。

基于這套流水線，一個僅2B參數(shù)的小模型ClawGUI-2B，在MobileWorld基準(zhǔn)上取得17.1 SR，大幅超越基線的11.1，達(dá)到了接近8B模型的水平。

△ClawGUI系統(tǒng)架構(gòu)總覽

ClawGUI-RL：讓GUI模型在環(huán)境中穩(wěn)步提升

GUI Agent的RL訓(xùn)練需要與真實設(shè)備進(jìn)行持續(xù)交互，截屏、解析、操作、獲得反饋，形成完整的episode。這意味著訓(xùn)練基礎(chǔ)設(shè)施不僅需要模型訓(xùn)練框架，還需要大規(guī)模環(huán)境仿真和設(shè)備管理能力。ClawGUI-RL是目前開源社區(qū)中為數(shù)不多的、經(jīng)過端到端驗證的GUI Agent Online RL解決方案。

具體來說，ClawGUI-RL將整個訓(xùn)練基礎(chǔ)設(shè)施拆解為三層：環(huán)境管理、獎勵設(shè)計、策略優(yōu)化。

環(huán)境層面，所有設(shè)備后端（Docker虛擬機(jī)和物理手機(jī)）被統(tǒng)一抽象為同一套接口，訓(xùn)練代碼無需區(qū)分底層是模擬器還是真機(jī)。每個環(huán)境遵循「重置→執(zhí)行→評估→回收」的標(biāo)準(zhǔn)生命周期，配合Spare Server輪轉(zhuǎn)和周期性重啟，保證長時間訓(xùn)練的穩(wěn)定性。

獎勵層面，ClawGUI-RL采用二元結(jié)果獎勵+PRM逐步獎勵的雙層設(shè)計。結(jié)果獎勵在episode結(jié)束時給出成功/失敗的0/1信號，PRM則在每一步操作后根據(jù)前后截圖和歷史動作判斷當(dāng)前操作是否有效推進(jìn)了任務(wù)，兩者相加構(gòu)成最終獎勵。這種稠密的逐步反饋極大緩解了GUI長序列決策中獎勵稀疏的問題，讓優(yōu)化器能夠區(qū)分哪些中間步驟是有價值的、哪些是無效繞路。

策略優(yōu)化層面，ClawGUI-RL支持GRPO、GiGPO等主流強(qiáng)化學(xué)習(xí)算法，并提供統(tǒng)一的訓(xùn)練接口，方便研究者根據(jù)任務(wù)特性靈活切換和對比不同優(yōu)化策略。

△ClawGUI-RL架構(gòu)圖

虛擬環(huán)境與真機(jī)訓(xùn)練

基于Docker的Android虛擬環(huán)境，ClawGUI-RL支持大量虛擬Android環(huán)境同時并行運行。內(nèi)置的Spare Server輪轉(zhuǎn)機(jī)制保證了訓(xùn)練的魯棒性，當(dāng)某個容器截圖失敗或設(shè)備不健康時，系統(tǒng)自動切換至備用服務(wù)器，訓(xùn)練不中斷。團(tuán)隊提供了經(jīng)過驗證的端到端真機(jī)RL訓(xùn)練流程，物理手機(jī)和云手機(jī)均可接入。真機(jī)訓(xùn)練的交互協(xié)議與虛擬環(huán)境完全一致，為后續(xù)大規(guī)模云手機(jī)訓(xùn)練鋪平了道路。

PRM逐步獎勵：不止看結(jié)果，每一步都給分

標(biāo)準(zhǔn)GRPO為整個Episode分配一個單一的優(yōu)勢分?jǐn)?shù)，成功了就是1，失敗了就是0，中間步驟好不好完全不管。這就像考試只看總分，不知道哪道題做對了哪道做錯了。ClawGUI-RL通過引入過程獎勵模型（PRM）改變了這一點，對每一步操作進(jìn)行評估，提供更密集的梯度信號，實現(xiàn)更精細(xì)的策略優(yōu)化。

實驗結(jié)果

以MAI-UI-2B為基座，ClawGUI-2B在MobileWorld基準(zhǔn)上的表現(xiàn)：

幾個關(guān)鍵數(shù)字：ClawGUI-2B達(dá)到17.1 SR，大幅超越MAI-UI-2B基線（11.1），提升幅度達(dá)6%。一個2B小模型，達(dá)到了接近8B模型的水平。

ClawGUI-Eval：95.8%復(fù)現(xiàn)率，讓評測結(jié)果可信

GUI模型評測領(lǐng)域長期面臨復(fù)現(xiàn)一致性的挑戰(zhàn)：不同框架、不同實現(xiàn)細(xì)節(jié)下，同一模型的評測數(shù)字往往存在明顯差異。差個prompt格式、搞混坐標(biāo)系、調(diào)錯分辨率，結(jié)果就可能偏差數(shù)個百分點。

ClawGUI-Eval通過標(biāo)準(zhǔn)化的Infer→Judge→Metric三階段流水線系統(tǒng)性地解決了這個問題。

△ClawGUI-Eval評測框架

覆蓋6大Benchmark（ScreenSpot-Pro、ScreenSpot-V2、UIVision、MMBench-GUI、OSWorld-G、AndroidControl），支持11+模型（Qwen3-VL、Qwen2.5-VL、UI-TARS、MAI-UI、GUI-G2、UI-Venus、Gemini、Seed 1.8等）。48個有官方基準(zhǔn)的格子中成功復(fù)現(xiàn)46個，總體復(fù)現(xiàn)率95.8%。前沿模型Gemini 3.0 Pro和Seed 1.8在ScreenSpot-Pro上實現(xiàn)100%復(fù)現(xiàn)，并首次評測了Gemini 3.1 Pro（85.01）。

踩坑踩出來的復(fù)現(xiàn)Tips

比數(shù)字更有價值的，是團(tuán)隊總結(jié)的關(guān)鍵復(fù)現(xiàn)經(jīng)驗，每一條都是用準(zhǔn)確率換來的教訓(xùn)：

1. 坐標(biāo)系統(tǒng)不匹配=準(zhǔn)確率歸零。Qwen2.5-VL輸出絕對像素坐標(biāo)，Qwen3-VL輸出[0,1000]歸一化，StepGUI用[0,999]，搞混一個就是災(zāi)難。

2. 圖文輸入順序（tv vs. vt）可導(dǎo)致數(shù)個百分點差異。大部分模型需要圖片在前（vt），MAI-UI需要文本在前（tv），用錯直接崩盤。

3. 哪怕一句”You are a helpful assistant.”也能帶來約1%的提升。System prompt必須嚴(yán)格對齊官方。

4. Prompt格式必須逐字對齊。措辭微小差異就可能影響結(jié)果。

5. 溫度建議設(shè)為0.0。非零溫度影響坐標(biāo)精度。

所有推理結(jié)果已全部開源，歡迎下載驗證。

OpenClaw-GUI：一句話控制手機(jī)

GUI智能體真正的價值，在于能夠在用戶手邊的真實設(shè)備上運行、幫人完成實際任務(wù)。OpenClaw-GUI正是為此而生，把GUI智能體帶到真機(jī)上落地。

基于nanobot框架構(gòu)建，OpenClaw-GUI實現(xiàn)了通過自然語言控制真實手機(jī)。接入飛書、QQ、Telegram、Discord、Slack、釘釘?shù)?2+聊天平臺，用戶在聊天窗口發(fā)一句指令，Agent就能截屏理解界面、規(guī)劃操作路徑、執(zhí)行點擊和輸入。

更關(guān)鍵的是，OpenClaw-GUI把評測也集成進(jìn)來了。說一句「幫我測一下qwen3vl在screenspot-pro上的指標(biāo)」，Agent會自動完成環(huán)境檢測→多GPU推理→判分→指標(biāo)計算→結(jié)果對比。這本身就是CLI+GUI協(xié)作的絕佳例證，計算密集型工作由CLI高效完成，人機(jī)交互和結(jié)果呈現(xiàn)依賴GUI。

核心能力：跨平臺支持Android（ADB）、鴻蒙（HDC）、iOS（XCTest）；多模型接入AutoGLM、MAI-UI、GUI-Owl、Qwen-VL、UI-TARS；個性化記憶，自動學(xué)習(xí)用戶偏好，跨任務(wù)持續(xù)復(fù)用；Episode記錄，每次執(zhí)行以結(jié)構(gòu)化Episode保存，支持回放與數(shù)據(jù)集構(gòu)建；Web UI基于Gradio，支持設(shè)備管理、任務(wù)執(zhí)行與記憶查看。

展望：GUI的故事遠(yuǎn)未結(jié)束

2026年，CLI Agent無疑是最火的賽道。Claude Code、Gemini CLI、CodeBuddy……一個自然的問題浮現(xiàn)：GUI智能體還有必要嗎？

研究團(tuán)隊傾向于認(rèn)為：GUI的故事遠(yuǎn)沒有結(jié)束，CLI+GUI的融合或許是通往通用Agent的一條重要路徑。

人類短期內(nèi)離不開GUI。從文字到圖片到視頻，越容易被感知的媒介越具備傳播優(yōu)勢。外賣、打車、社交、購物，移動互聯(lián)網(wǎng)絕大多數(shù)的交互發(fā)生在圖形界面上。至少在可見的未來，GUI仍將是數(shù)字世界的主要入口。

不是所有App都有API。微信、銀行、大量企業(yè)內(nèi)部系統(tǒng)只有圖形界面。CLI面向Agent執(zhí)行，高效干活；GUI面向人類理解，感知和交互。兩者更像是互補(bǔ)關(guān)系而非替代關(guān)系。

GUI的「可見性」提供了一種獨特的信任機(jī)制。假如Agent在執(zhí)行任務(wù)時涉及支付操作，CLI以用戶看不見的方式直接完成了付款，造成的損失誰來承擔(dān)？GUI操作到關(guān)鍵步驟時，用戶可以看到屏幕上正在發(fā)生什么、隨時介入。這種可控性可能是純CLI方案較難提供的。

Online RL的工程挑戰(zhàn)遠(yuǎn)未被解決。GUI Agent的RL訓(xùn)練需要與真實App交互，登錄驗證、反爬機(jī)制、動態(tài)UI變化，大規(guī)模RL Scaling的穩(wěn)定性仍是行業(yè)難題。ClawGUI-RL的Spare Server輪轉(zhuǎn)和周期性重啟機(jī)制是一個初步的探索，距離大規(guī)模生產(chǎn)級訓(xùn)練還有很長的路要走。

路線圖

ClawGUI的規(guī)劃不止于此：OpenClaw-GUI支持自然語言手機(jī)操控與評測；ClawGUI-RL可擴(kuò)展的Mobile Online RL訓(xùn)練基礎(chǔ)設(shè)施，支持PRM逐步獎勵；ClawGUI-Eval標(biāo)準(zhǔn)化評測套件，6個Benchmark，95%+復(fù)現(xiàn)率；ClawGUI-2B達(dá)到17.1 SR（基線11.1）；后續(xù)將推進(jìn)真機(jī)部署OpenClaw-GUI，直接部署在手機(jī)上避免云端隱私泄露；Desktop / Web Online RL，將在線RL擴(kuò)展至桌面和網(wǎng)頁環(huán)境；以及基于OPD算法的實時強(qiáng)化學(xué)習(xí)。

總結(jié)

ClawGUI不是要證明GUI比CLI更好，而是想探索一種可能性：訓(xùn)練、評測、部署打通之后，GUI智能體能走多遠(yuǎn)？CLI和GUI的協(xié)作又能釋放出怎樣的潛力？

ClawGUI-RL讓GUI Agent的在線訓(xùn)練從虛擬環(huán)境走向真機(jī)，ClawGUI-Eval為社區(qū)提供了一套可信賴的評測標(biāo)準(zhǔn)，OpenClaw-GUI把GUI智能體從研究帶到了真實設(shè)備。

項目已開源，歡迎Star支持，讓更多人看到GUI Agent的可能性。

項目地址：
https://github.com/ZJU-REAL/ClawGUI

項目主頁：
https://zju-real.github.io/ClawGUI-Page/