視覺(jué)跟蹤、運(yùn)動(dòng)捕捉、VR接口等不同方式遙操作機(jī)器人精度對(duì)比

在當(dāng)前的機(jī)器人研究中，有多種方法用于人對(duì)機(jī)器人的遙操作，包括基于視覺(jué)的跟蹤、運(yùn)動(dòng)捕捉系統(tǒng)、VR接口和外骨骼服等。然而目前仍然沒(méi)有標(biāo)準(zhǔn)化的框架來(lái)客觀一致地比較這些方法。

一項(xiàng)來(lái)自上海人工智能實(shí)驗(yàn)室2025年的研究通過(guò)引入以下內(nèi)容填補(bǔ)了這一空白，TeleOpBench評(píng)價(jià)雙臂靈巧遙操作的統(tǒng)一基準(zhǔn)。該基準(zhǔn)統(tǒng)計(jì)了英偉達(dá)Isaac Sim中運(yùn)行一致的任務(wù)并將任務(wù)成功率和完成時(shí)間作為模擬和物理環(huán)境中的主要評(píng)估指標(biāo)。

遙操作接口

TeleOpBench比較了捕捉人類運(yùn)動(dòng)并將其傳輸給機(jī)器人的四種方法:

基于動(dòng)作捕捉(MANUS數(shù)據(jù)手套+ Xsens)的遙操作：通過(guò)Xsens MVN套裝與高分辨率的MANUS數(shù)據(jù)手套手部動(dòng)作捕捉，可實(shí)現(xiàn)精確的肢體和手部關(guān)節(jié)運(yùn)動(dòng)。

基于視覺(jué)的遙操作：使用單目RGB攝像頭進(jìn)行人體姿勢(shì)估計(jì)(SMPLer-X，MediaPipe)和反向運(yùn)動(dòng)學(xué)匹配。

基于VR接口的遙操作：使用Apple Vision Pro和OpenXR跟蹤進(jìn)行手腕和手部姿勢(shì)預(yù)估。

基于外骨骼的遙操作：使用運(yùn)動(dòng)學(xué)對(duì)齊的外骨骼機(jī)械服進(jìn)行關(guān)節(jié)測(cè)繪，搭配霍爾效應(yīng)傳感器手套，每只手提供15個(gè)自由度。

結(jié)果

在以上實(shí)驗(yàn)中，四個(gè)遙操作接口在三個(gè)商業(yè)人形平臺(tái)(Unitree H1-2，F(xiàn)ourier GR1-T2，Unitree G1)上通過(guò)10個(gè)不同復(fù)雜性的代表性任務(wù)進(jìn)行了比較。

表1：不同遙操作系統(tǒng)在模擬任務(wù)中的性能比較

表2：現(xiàn)實(shí)世界中遙操作系統(tǒng)跨任務(wù)執(zhí)行的性能比較

在模擬和真實(shí)實(shí)驗(yàn)中，性能趨勢(shì)保持一致。運(yùn)動(dòng)捕捉管線中使用MANUS數(shù)據(jù)手套和Xsens，MVN實(shí)現(xiàn)了最高的成功率和最快的完成時(shí)間。其在抓取、放置和雙手協(xié)調(diào)方面表現(xiàn)出卓越的精度，具有很強(qiáng)的模擬到真實(shí)場(chǎng)景的轉(zhuǎn)換能力。

外骨骼和系統(tǒng)性能可靠，但擁有特定的限制，如較慢的大臂運(yùn)動(dòng)對(duì)無(wú)遮擋環(huán)境要求較高。基于視覺(jué)的跟蹤對(duì)于簡(jiǎn)單的任務(wù)表現(xiàn)良好，但在復(fù)雜、高靈敏的場(chǎng)景中卻表現(xiàn)不佳。

為什么使用動(dòng)捕控制機(jī)器人效果最好

對(duì)于具身機(jī)器人學(xué)習(xí)，人類演示的質(zhì)量直接影響策略性能和虛擬到現(xiàn)實(shí)的轉(zhuǎn)移。手指清晰度、運(yùn)動(dòng)平滑度和協(xié)調(diào)性的微小差異會(huì)顯著影響習(xí)得的操作策略；在現(xiàn)實(shí)任務(wù)中的表現(xiàn)也是。因此，高幀率跟蹤對(duì)于可靠的機(jī)器人學(xué)習(xí)至關(guān)重要。

TeleOpBench結(jié)果表明，由MANUS數(shù)據(jù)手套Xsens全身動(dòng)捕系統(tǒng)提供的高保真手指和肢體跟蹤在被評(píng)估的系統(tǒng)中提供了最準(zhǔn)確和有效的遙操作數(shù)據(jù)。