MANUS已被整合入Isaac Teleop平臺中

在今年的英偉達GTC展會上，英偉達帶來了Isaac Teleop。Isaac Teleop是一個跨模擬和現(xiàn)實世界系統(tǒng)的遠程操作和數(shù)據(jù)收集的統(tǒng)一框架，標準化了人類輸入如何轉(zhuǎn)化為機器人動作。

全新版本的Isaac Teleop在機器人領(lǐng)域帶來了更廣泛應(yīng)用。隨著該領(lǐng)域向具身智能和通用機器人政策發(fā)展，瓶頸不再僅僅是模型架構(gòu)，而是高質(zhì)量人類演示數(shù)據(jù)方向轉(zhuǎn)變。NVIDIA的Isaac生態(tài)系統(tǒng)一直在不斷發(fā)展，其提供了一個端到端的堆棧，涵蓋模擬(Isaac Sim)、學(xué)習(xí)(Isaac Lab)和遙操作(Isaac Teleop)。

Isaac Teleop與Manus的整合

MANUS作為高保真手部跟蹤輸入設(shè)備被集成到Isaac Teleop中，以高維形式捕捉精確的手部運動，供機器人和模擬環(huán)境實時使用。

通過采集精確交互動態(tài)，例如手指卷曲、收縮調(diào)制和微調(diào)，MANUS手套在工具使用、抓握適應(yīng)和雙手協(xié)調(diào)等任務(wù)中可實現(xiàn)靈巧操作。這使得遙操作工作流程能夠包含對復(fù)雜操作至關(guān)重要的詳細手部行為。

系統(tǒng)架構(gòu)和集成

從系統(tǒng)的角度來看，MANUS通過一個專用插件集成到Isaac Teleop中，作為遙操作堆棧中的輸入設(shè)備。手和手指的運動被實時捕捉，并通過重定目標管道進行處理，以生成機器人動作。

Isaac Teleop標準化了模擬和真實世界系統(tǒng)之間的管道，在兩種環(huán)境中實現(xiàn)了一致的控制和數(shù)據(jù)收集。人類運動被翻譯成機器人指令，同時能夠收集演示數(shù)據(jù)。

MANUS可以捕捉精細的手和手指運動，提高遠程操作精度和數(shù)據(jù)質(zhì)量。MANUS SDK*支持將跟蹤數(shù)據(jù)傳輸?shù)絋eleop框架中。

工作流程和集成優(yōu)勢

MANUS與Isaac Teleop的集成簡化了遙操作工作流程的構(gòu)建和擴展。MANUS手套可以通過插件連接到Isaac Teleop，而無需為每個系統(tǒng)建立定制的集成管道。這減少了集成工作，并支持跨不同機器人和環(huán)境的重復(fù)使用。

此外將Manus采集到的數(shù)據(jù)投入到機器人訓(xùn)練使用，還提高了模擬和真實世界系統(tǒng)之間的一致性。相同的MANUS設(shè)置可以在模擬和真實世界環(huán)境中重復(fù)使用，以減少數(shù)據(jù)收集的差異，并支持更有效的模擬到真實的工作流。

使用MANUS捕獲的演示可用于學(xué)習(xí)管道，高保真手指跟蹤保留了靈巧操作所需的細節(jié)，并提高了訓(xùn)練數(shù)據(jù)的質(zhì)量。

Isaac生態(tài)系統(tǒng)中的MANUS：從遙操作到可擴展訓(xùn)練

在Isaac生態(tài)系統(tǒng)中，Isaac Teleop是Isaac lab中連接模擬、數(shù)據(jù)收集和學(xué)習(xí)的更廣泛數(shù)據(jù)管道的一部分。MANUS通過在模擬和真實世界環(huán)境中提供高保真的手部數(shù)據(jù)輸入，增強了這一渠道。

通過Isaac Teleop收集的演示可以集成到學(xué)習(xí)管道中，為靈巧手操作任務(wù)保留細粒度的運動。通過與Isaac lab整合，開發(fā)人員可以使用真實的人類運動來驅(qū)動虛擬機器人手部，從而在將策略部署到物理機器人投入生產(chǎn)之前，在模擬中實現(xiàn)快速原型制作、驗證和數(shù)據(jù)生成。

Isaac Teleop和Isaac Lab共同提供了一個緊密集成的工作流程，從人工演示到策略培訓(xùn)和在真實硬件上的部署。最近NVIDIA主導(dǎo)的研究自我量表強調(diào)了大規(guī)模人類數(shù)據(jù)在訓(xùn)練靈巧機器人策略中的重要性。在這些方法中，準確的手和手指運動成為學(xué)習(xí)的關(guān)鍵輸入信號。MANUS解決方案能夠捕捉高保真的人體運動，支持小規(guī)模的遠程操作數(shù)據(jù)收集和新興的大規(guī)模人機學(xué)習(xí)工作流。