MANUS：用于視覺、語言、行動模型創建的高保真數據采集設備

“RoboBrain-Dex：多源自我中心訓練用于集成靈巧視覺-語言-行動模型”。

靈巧手遙操作目前為止仍然是機器人技術中最具挑戰性的前沿領域之一。盡管視覺-語言-動作模型在通用機器人能力方面表現出很大潛力，但其面臨一個關鍵瓶頸：靈巧手技能的大規模學習、動作注釋數據稀缺。傳統遙操作方法成本高且耗時，而現有的人類運動數據集則存在視角依賴、遮擋和捕獲環境受限等問題，這限制了它們在機器人訓練中的應用。

北京大學和北京人工智能學院的研究人員開發了RoboBrain-Dex，這是一個通過利用MANUS數據手套來克服這些數據收集挑戰的靈巧手操作的突破性視覺-語言-動作模型。其工作展示了高保真手部追蹤如何實現大規模、多源的自我中心數據集的創建，這些數據集將人類和機器人操作緊密聯系在一起。

便攜式、高保真大規模數據收集

RoboBrain-Dex 研究團隊構建了Ego Atlas，一個綜合的多源自我中心數據集，將人類和機器人操作數據統一在一個動作空間下。其數據收集基礎設施的核心：MANUS Quantum Metagloves 可捕捉每只手的所有25個手關鍵點的精確3D位置。

與受限于捕捉體積和遮擋問題的基于相機或VR追蹤系統不同，MANUS手套追蹤系統 實現了便攜、隨時隨地的動作捕捉。結合VIVE追蹤器進行6自由度手腕姿態追蹤，該系統提供了手部定位，同時保持指尖級的精度。這種方法消除了視角依賴性，并能夠在各種真實環境下收集數據，這對于構建用于穩定的VLA模型訓練所需的規模和多樣化的數據集至關重要。

從人類演示到機器人控制

由MANUS手套捕獲的高保真運動數據在RoboBrain-Dex管道中起到了雙重作用。對于人類演示，手套記錄了自然的操縱行為，為學習機器人動作提供了豐富的先驗知識。對于機器人遠程操作，相同的手套追蹤系統實現了精確控制：通過逆運動學將手腕姿勢轉換為機器人手臂配置，而指尖軌跡通過基于IK的重新目標映射到靈巧手關節空間。

這種無縫的人機翻譯對于收集補充RoboBrain-Dex人類數據集的機器人演示數據至關重要。研究人員成功地將這種遠程控制方法應用于配備Inspire 6-DoF靈巧手的Unitree G1人形機器人上，收集了高質量的多種操作任務演示數據。

推動該領域發展的成果

基于由MANUS手套支持的多源第一人稱數據，RoboBrain-Dex在六個真實世界的靈巧操作任務中實現了超高的平均成功率。該模型在分布外場景中表現出色。

RoboBrain-Dex模型代表了一個重要的轉變，通過數據采集設備MANUS的毫米級手部追蹤精度和便攜、可擴展的部署訓練機器人靈巧手更加貼合真實人類操作。隨著具身人工智能繼續向人類水平的操縱能力發展，高保真第一人稱數據采集設備仍然是彌合人類靈巧度與機器人智能之間差距的基礎。