字節跳動使用MANUS手套推進雙靈巧手操作

將視覺-語言-行動(VLA)策略擴展到具有高自由度靈巧手的雙手機器人是一項艱難的挑戰。ByteDexter V2靈巧手每只手有21個自由度，該方案創造了一個傳統遙操作方法難以企及的56自由度雙手系統。字節跳動Seed的研究人員在GR-Dexter技術報告中指出，當每個末端執行器都是需要精確、協調控制的多指擬人手時，難度會大大增加。

為了讓VLA的操作在該規模上取得成功，研究人員需要捕捉復雜的手與物體交互的高質量演示數據。核心問題是:如何有效地收集自然的雙手運動軌跡，以保持對訓練穩定操作策略至關重要的細粒度手指運動學。

用于真實機器人數據收集的高保真手部跟蹤

字節跳動Seed通過將MANUS Metagloves 手套作為其數據收集管道中的主要手部動作接口解決了這一難題。將用于手腕姿勢跟蹤的Meta Quest VR耳機與用于捕捉手指運動細節的MANUS手套相結合，Quest控制器安裝在手套背上，以提高協調的手腕-手跟蹤的可靠性。

該配置使遙控操作者能夠同時控制兩個裝備V2靈巧手的Franka Research 3機械臂實現長視野操作任務。通過MANUS手套捕捉到的人類手部動作實時重定向到關節位置命令。手部運動重定向被公式化為一個約束優化問題，該問題結合了手腕到指尖和拇指到指尖的對準項以及避免碰撞約束，通過序列二次規劃求解。

遙操作系統展示了從諸如積木之類粗糙操作到包括編織和書法在內的精細運動任務的各種任務的穩定性。經過培訓后，遙控操作者成功完成了長時間的任務，能夠為化妝臺清理和可推廣的取放實驗收集大約20小時的高保真機器人軌跡。

支持跨靈巧手傳輸的數據質量

基于MANUS的遠程操作管道不僅對收集機器人演示數據至關重要，同時也對支持GR-Dexter泛化能力的更廣泛的數據策略至關重要。人手和ByteDexter V2設計之間的擬人化對應為利用大規模以自我為中心的手到對象交互數據集創造了巨大潛力的應用前景。

未來方向

字節跳動Seed的實踐表明，將高保真手部跟蹤與擬人化靈巧手硬件相結合，為雙手操作研究創建了一個有效的遙操作接口。MANUS手套能夠有效地收集演示數據，這些數據對于在高自由度系統上執行VLA訓練策略至關重要。人類和機器人手之間的結構相似性有助于跨靈巧手控制轉移，這是超越基于手爪系統擴展靈巧操作能力的關鍵優勢。