使用MANUS手套在Isaac實(shí)驗(yàn)室內(nèi)操作22自由度靈巧手

在仿真軟件中收集高質(zhì)量的靈巧操作數(shù)據(jù)要求輸入設(shè)備能夠真實(shí)地捕捉人手運(yùn)動(dòng)的全部動(dòng)作。MANUS手套，現(xiàn)在原生集成到英偉達(dá)NVIDIA Isaac實(shí)驗(yàn)室2.3版本中，以直接解決該需求。在演示中，操作員使用MANUS手套遠(yuǎn)程操作Sharpa Wave，這是NVIDIA Isaac Lab內(nèi)的一個(gè)22自由度靈巧機(jī)械手，將自然的手部運(yùn)動(dòng)轉(zhuǎn)化為毫米級(jí)保真度的實(shí)時(shí)機(jī)器人關(guān)節(jié)控制。

靈巧手操作中的數(shù)據(jù)質(zhì)量瓶頸

模擬優(yōu)先的機(jī)器人策略培訓(xùn)具有成本更低、迭代更快、部署管道更安全等優(yōu)勢(shì)。然而，經(jīng)過(guò)培訓(xùn)的政策的質(zhì)量受到演示數(shù)據(jù)質(zhì)量的限制。對(duì)于需要高度協(xié)調(diào)的多手指控制的靈巧操作任務(wù)，大多數(shù)遙操作輸入設(shè)備達(dá)不到要求。基于視覺(jué)的手部跟蹤會(huì)帶來(lái)遮擋誤差和延遲，而低自由度控制器無(wú)法捕捉復(fù)雜操作任務(wù)所需的細(xì)微手指運(yùn)動(dòng)。

從人手到機(jī)器人的訓(xùn)練過(guò)程

MANUS手套旨在以毫米級(jí)的精度捕捉手部運(yùn)動(dòng)的全范圍，在長(zhǎng)時(shí)間的操作過(guò)程中保持穩(wěn)定，沒(méi)有漂移。NVIDIA Isaac Lab 2.3提供了原生支持，它將高保真手部跟蹤數(shù)據(jù)直接傳輸?shù)椒抡嬷校送ǔ?huì)降低數(shù)據(jù)收集管道速度的設(shè)置。

在用例中，操作員佩戴MANUS手套在Isaac Lab里遙控1:1擬人化的22自由度機(jī)器人Sharpa Wave。手部配置直接映射到機(jī)器人關(guān)節(jié)位置，以創(chuàng)建一個(gè)更符合人類運(yùn)動(dòng)學(xué)的遠(yuǎn)程操作界面。

錄制的數(shù)據(jù)被直接輸入到Isaac Lab Mimic進(jìn)行增強(qiáng)和等比例縮放，然后輸入到模仿學(xué)習(xí)管道，這些過(guò)程都在將優(yōu)先在模擬中進(jìn)行，然后再進(jìn)行實(shí)際部署。

操縱策略所依賴的精度

MANUS數(shù)據(jù)手套能實(shí)時(shí)捕捉手掌和每一根手指細(xì)微動(dòng)作，提供靈巧操作研究所需的精確、穩(wěn)定、無(wú)遮擋的手部跟蹤數(shù)據(jù)，可原生集成到NVIDIA Isaac實(shí)驗(yàn)室工作流程中。