打破2D視覺枷鎖，全新端到端框架GeoVLA重構(gòu)機(jī)器人空間感知

論文名稱： GeoVLA: Empowering 3D Representation in Vision-Language-Action Models

在具身智能的浪潮中，VLA 模型被視為通往通用機(jī)器人的快車道。然而，隨著研究深入到非結(jié)構(gòu)化環(huán)境，現(xiàn)有 VLA 模型面臨著一個嚴(yán)重的維度缺陷：空間失明。

目前，大多數(shù) VLA 模型（比如 OpenVLA、RT-2、Pi0、Pi05）單純依賴 2D RGB 圖像作為視覺輸入，導(dǎo)致模型眼中的世界“紙片化”，嚴(yán)重缺乏深度信息和幾何先驗；由此帶來的后果是：

深度感知缺失：面對需要精確距離判斷的任務(wù)，比如精準(zhǔn)投籃、掛扣環(huán)，2D 模型往往“抓瞎”，無法準(zhǔn)確預(yù)測 Z 軸的動作。

空間適應(yīng)性差：一旦物體尺寸發(fā)生變化（Scale Variance）或相機(jī)視角發(fā)生偏移（Viewpoint Shift），便無法理解物體在空間中的本質(zhì)位置，導(dǎo)致任務(wù)失敗。

圖 1：GeoVLA 整體示意圖

Dexmal 原力靈機(jī)作者團(tuán)隊提出一種全新的 VLA 框架 GeoVLA，它在保留現(xiàn)有視覺-語言模型（VLM）的預(yù)訓(xùn)練能力的同時，采用了一種優(yōu)雅的雙流架構(gòu)（Dual-path Architecture）。

具體而言，GeoVLA 在保留 VLM 強(qiáng)大的語義理解能力的同時，引入專用的點云嵌入網(wǎng)絡(luò) PEN 和空間感知動作專家 3DAE，直接利用深度圖生成的點云數(shù)據(jù)，賦予機(jī)器人真正的三維幾何感知能力。

這一設(shè)計不僅在仿真環(huán)境中取得 SOTA，更在真實世界的魯棒性測試中，特別是在視角改變和物體尺度變化的極端條件下，展現(xiàn)出驚人的適應(yīng)力。

方法框架

常見的做法試圖讓一個 VLM 既懂語義又懂幾何，這往往顧此失彼；GeoVLA 的核心邏輯是選擇把任務(wù)解耦：讓 VLM 負(fù)責(zé)“看懂是什么”，讓點云網(wǎng)絡(luò)負(fù)責(zé)“看清在哪里”。

圖2：GeoVLA 框架圖

GeoVLA 是一個全新的端到端框架，其流程包含三個關(guān)鍵組件的協(xié)同工作：

語義理解流：利用預(yù)訓(xùn)練的 VLM（如 Prismatic-7B）處理 RGB 圖像和語言指令，提取融合后的視覺-語言特征。

幾何感知流：利用點云嵌入網(wǎng)絡(luò) PEN 處理由深度圖轉(zhuǎn)換而來的點云，獨立提取高精度的 3D 幾何特征。

動作生成流：通過3D 增強(qiáng)動作專家 3DAE 融合上述兩種特征，生成精確的動作序列。

點云嵌入網(wǎng)絡(luò) PEN

圖 3：雙路徑點云嵌入網(wǎng)絡(luò)細(xì)節(jié)圖

原始深度圖往往包含大量噪聲，且數(shù)據(jù)稀疏，直接作為輸入效果不佳。點云嵌入網(wǎng)絡(luò) PEN 專為機(jī)器人操作設(shè)計，采用雙路徑架構(gòu)來提取干凈且緊湊的幾何特征：

幾何特征提取：使用大核卷積和局部池化的輕量級 CNN，將非結(jié)構(gòu)化的點云編碼為 Patch 級別的幾何 Token。

空間位置編碼：引入在大語言模型中常見的旋轉(zhuǎn)位置編碼 RoPE，它能極好地保留 3D 空間中的相對位置信息，這對于操作任務(wù)至關(guān)重要。

空間錨點（Spatial Anchor）設(shè)計是 PEN 的一大亮點。作者團(tuán)隊并沒有簡單地對所有點云特征進(jìn)行平均池化，而是選擇對應(yīng)于末端執(zhí)行器坐標(biāo)原點的 Token 作為“錨點”。這種以“手”為中心的視角設(shè)計，讓模型能夠顯式地建模“手”與“物體”之間的幾何關(guān)系，大幅提升操作精度。

3D 增強(qiáng)動作專家 3DAE

特征提取只是第一步，如何有效融合 RGB 的語義信息和點云的幾何信息，實現(xiàn)1+1＞2的效果，是多模態(tài)研究當(dāng)中的難點。作者團(tuán)隊在動作生成端采用基于擴(kuò)散 Transformer (DiTs) 的架構(gòu)，并創(chuàng)新性地引入混合專家 (MoE) 機(jī)制。

靜態(tài)路由策略 (Static Routing)：這是一個直覺且有效的策略。在訓(xùn)練過程中，由于 VLM 分支是預(yù)訓(xùn)練的，而點云分支是從頭開始學(xué)，如果使用常規(guī)的動態(tài)路由，模型會傾向于走捷徑，只依賴 VLM 分支，忽略點云信息。

強(qiáng)制解耦：作者團(tuán)隊采用了靜態(tài)路由，隨機(jī)丟棄某種模態(tài)，逼迫模型必須學(xué)會獨立利用幾何信息來解決問題，從而確保了雙流信息的有效融合。

實驗結(jié)果

GeoVLA 在仿真和真機(jī)實驗中均展現(xiàn)出對傳統(tǒng) 2D VLA 模型的壓倒性優(yōu)勢，證明顯式 3D 表征在復(fù)雜操作中的不可替代性。

仿真環(huán)境測試結(jié)果

表 1：LIBERO 評測結(jié)果

在 LIBERO 基準(zhǔn)測試中，GeoVLA 超越所有任務(wù)套件。在最具挑戰(zhàn)性的 LIBERO-90（長程多任務(wù)）中，GeoVLA 達(dá)到 97.7% 的成功率，超越之前的 SOTA 方法 OpenVLA-OFT (95.3%) 和 CogACT (93.2%)。

表 2：ManiSkill2 評測結(jié)果

在物理仿真更為逼真的 ManiSkill2 中，GeoVLA 優(yōu)勢更加明顯，平均成功率達(dá)到 77%，大幅領(lǐng)先 Dita (66%) 和 CogACT (69%)；特別是在 PickClutterYCB 這種物體堆疊雜亂、遮擋嚴(yán)重的任務(wù)中，GeoVLA 憑借點云帶來的幾何理解，保持了極高的操作精度。

真機(jī)環(huán)境與魯棒性測試

圖 4：真機(jī)實驗任務(wù)的變體展示

作者團(tuán)隊使用 WidowX-250s 機(jī)械臂進(jìn)行了廣泛的真機(jī)測試；實驗被分為“基礎(chǔ)任務(wù)”和“3D 感知任務(wù)”。在域內(nèi)任務(wù)中，GeoVLA 在基礎(chǔ)任務(wù)上平均成功率 95.0%，在 3D 感知任務(wù)上為 77.5%，總體平均 86.3%，大幅領(lǐng)先 Pi0 (57.5%) 和 CogACT (76.3%)。特別是在 Put Basketball 和 Put Hairclip 等需要精確空間理解的任務(wù)中，GeoVLA 表現(xiàn)出更好的魯棒性。

表 4：真機(jī)任務(wù)評測結(jié)果

更令人印象深刻的是 GeoVLA 在分布外（OOD）場景下的魯棒性，這也是 GeoVLA 最核心的突破點：

表 5（左）：投籃任務(wù)變體的評測結(jié)果；表 6（右）：套娃任務(wù)變體的評測結(jié)果

投籃任務(wù)變體（高度變化）：當(dāng)籃筐高度被調(diào)整到訓(xùn)練數(shù)據(jù)未覆蓋的最高位置 (H1) 時，依賴 2D 視覺的 CogACT 和 Pi0 徹底失效，成功率降至 20%；而 GeoVLA 憑借點云信息，依然保持 60% 的成功率。

套娃任務(wù)變體（尺寸變化）：面對比訓(xùn)練時大一號的套娃，2D 模型往往因為像素特征不匹配而無法識別；GeoVLA 則通過幾何形狀匹配，保持了 80% 的高成功率。

堆疊積木任務(wù)變體（視角變化）：堆疊積木時，當(dāng)相機(jī)視角偏移 45°，CogACT 成功率直接歸零，說明 2D 模型極度依賴特定視角的像素記憶；而 GeoVLA 依然穩(wěn)健，保持 70% 的成功率，證明其學(xué)到了真正的 3D 空間結(jié)構(gòu)。

胡蘿卜任務(wù)變體（移除海綿墊）：訓(xùn)練時使用的海綿墊在推理階段被移除，胡蘿卜位置被降低，導(dǎo)致大多數(shù)方法抓取胡蘿卜失敗；GeoVLA 則能更穩(wěn)定且成功抓取，展現(xiàn)出更強(qiáng)的泛化能力。

結(jié)論

本文中，Dexmal 原力靈機(jī)作者團(tuán)隊提出 GeoVLA，通過引入點云嵌入網(wǎng)絡(luò) PEN 和 3D 增強(qiáng)動作專家 3DAE，成功打破 VLA 模型在 3D 物理世界中的“感知壁壘”。

這項工作有力證明在端到端的機(jī)器人學(xué)習(xí)中，顯式引入 3D 幾何表征是提升模型泛化能力和魯棒性的關(guān)鍵。GeoVLA 不僅解決了傳統(tǒng) VLA 模型“看得見但摸不準(zhǔn)”的難題，更為未來具身智能邁向更復(fù)雜、更開放的非結(jié)構(gòu)化環(huán)境提供了一種高效且優(yōu)雅的解決方案。

特別是其雙路徑并行設(shè)計和靜態(tài)路由策略，為多模態(tài)融合提供了一個極具參考價值的范式：既保留了大模型的通用語義知識，又補(bǔ)齊了物理世界的幾何常識。對于追求精確操控的具身智能領(lǐng)域而言，GeoVLA 可能是一個重要的里程碑，標(biāo)志著 VLA 模型從“看圖說話”向“空間智能”的實質(zhì)性跨越。

參考文獻(xiàn)

Chengmeng Li, Junjie Wen, Yan Peng, Yaxin Peng, Feifei Feng, and Yichen Zhu. Pointvla: Injecting the 3d world into vision-language-action models. arXiv preprint arXiv:2503.07511, 2025.

Delin Qu, Haoming Song, Qizhi Chen, Yuanqi Yao, Xinyi Ye, Yan Ding, Zhigang Wang, JiaYuan Gu, Bin Zhao,Dong Wang, and Xuelong Li. Spatialvla: Exploring spatial representations for visual-language-action model. In Robotics: Science and Systems (RSS), 2025.

Zhi Hou, Tianyi Zhang, Yuwen Xiong, Haonan Duan, Hengjun Pu, Ronglei Tong, Chengyang Zhao, Xizhou Zhu,Yu Qiao, Jifeng Dai, and Yuntao Chen. Dita: Scaling diffusion transformer for generalist vision-language-action policy. arXiv preprint arXiv:2503.19757, 2025.

{Moo Jin} Kim, Karl Pertsch, Siddharth Karamcheti, Ted Xiao, Ashwin Balakrishna, Suraj Nair, Rafael Rafailov, Ethan Foster, Grace Lam, Pannag Sanketi, Quan Vuong, Thomas Kollar, Benjamin Burchfiel, Russ Tedrake, Dorsa Sadigh, Sergey Levine, Percy Liang, and Chelsea Finn. Openvla: An open-source vision-language-action model. arXiv preprint arXiv:2406.09246

Li Qixiu, Liang Yaobo, Wang Zeyu, Luo Lin, Chen Xi, Liao Mozheng, Wei Fangyun, Deng Yu, Xu Sicheng, Zhang Yizhong, and others. CogACT: A Foundational Vision-Language-Action Model for Synergizing Cognition and Action in Robotic Manipulation. arXiv preprint arXiv:2411.19650.