在今年的英偉達GTC展會上,英偉達帶來了Isaac Teleop。Isaac Teleop是一個跨模擬和現(xiàn)實世界系統(tǒng)的遠程操作和數(shù)據(jù)收集的統(tǒng)一框架,標準化了人類輸入如何轉(zhuǎn)化為機器人動作。
![]()
全新版本的Isaac Teleop在機器人領(lǐng)域帶來了更廣泛應(yīng)用。隨著該領(lǐng)域向具身智能和通用機器人政策發(fā)展,瓶頸不再僅僅是模型架構(gòu),而是高質(zhì)量人類演示數(shù)據(jù)方向轉(zhuǎn)變。NVIDIA的Isaac生態(tài)系統(tǒng)一直在不斷發(fā)展,其提供了一個端到端的堆棧,涵蓋模擬(Isaac Sim)、學(xué)習(xí)(Isaac Lab)和遙操作(Isaac Teleop)。
Isaac Teleop與Manus的整合
MANUS作為高保真手部跟蹤輸入設(shè)備被集成到Isaac Teleop中,以高維形式捕捉精確的手部運動,供機器人和模擬環(huán)境實時使用。
通過采集精確交互動態(tài),例如手指卷曲、收縮調(diào)制和微調(diào),MANUS手套在工具使用、抓握適應(yīng)和雙手協(xié)調(diào)等任務(wù)中可實現(xiàn)靈巧操作。這使得遙操作工作流程能夠包含對復(fù)雜操作至關(guān)重要的詳細手部行為。
系統(tǒng)架構(gòu)和集成
![]()
從系統(tǒng)的角度來看,MANUS通過一個專用插件集成到Isaac Teleop中,作為遙操作堆棧中的輸入設(shè)備。手和手指的運動被實時捕捉,并通過重定目標管道進行處理,以生成機器人動作。
Isaac Teleop標準化了模擬和真實世界系統(tǒng)之間的管道,在兩種環(huán)境中實現(xiàn)了一致的控制和數(shù)據(jù)收集。人類運動被翻譯成機器人指令,同時能夠收集演示數(shù)據(jù)。
MANUS可以捕捉精細的手和手指運動,提高遠程操作精度和數(shù)據(jù)質(zhì)量。MANUS SDK*支持將跟蹤數(shù)據(jù)傳輸?shù)絋eleop框架中。
工作流程和集成優(yōu)勢
MANUS與Isaac Teleop的集成簡化了遙操作工作流程的構(gòu)建和擴展。MANUS手套可以通過插件連接到Isaac Teleop,而無需為每個系統(tǒng)建立定制的集成管道。這減少了集成工作,并支持跨不同機器人和環(huán)境的重復(fù)使用。
此外將Manus采集到的數(shù)據(jù)投入到機器人訓(xùn)練使用,還提高了模擬和真實世界系統(tǒng)之間的一致性。相同的MANUS設(shè)置可以在模擬和真實世界環(huán)境中重復(fù)使用,以減少數(shù)據(jù)收集的差異,并支持更有效的模擬到真實的工作流。
使用MANUS捕獲的演示可用于學(xué)習(xí)管道,高保真手指跟蹤保留了靈巧操作所需的細節(jié),并提高了訓(xùn)練數(shù)據(jù)的質(zhì)量。
Isaac生態(tài)系統(tǒng)中的MANUS:從遙操作到可擴展訓(xùn)練
在Isaac生態(tài)系統(tǒng)中,Isaac Teleop是Isaac lab中連接模擬、數(shù)據(jù)收集和學(xué)習(xí)的更廣泛數(shù)據(jù)管道的一部分。MANUS通過在模擬和真實世界環(huán)境中提供高保真的手部數(shù)據(jù)輸入,增強了這一渠道。
通過Isaac Teleop收集的演示可以集成到學(xué)習(xí)管道中,為靈巧手操作任務(wù)保留細粒度的運動。通過與Isaac lab整合,開發(fā)人員可以使用真實的人類運動來驅(qū)動虛擬機器人手部,從而在將策略部署到物理機器人投入生產(chǎn)之前,在模擬中實現(xiàn)快速原型制作、驗證和數(shù)據(jù)生成。
Isaac Teleop和Isaac Lab共同提供了一個緊密集成的工作流程,從人工演示到策略培訓(xùn)和在真實硬件上的部署。最近NVIDIA主導(dǎo)的研究自我量表強調(diào)了大規(guī)模人類數(shù)據(jù)在訓(xùn)練靈巧機器人策略中的重要性。在這些方法中,準確的手和手指運動成為學(xué)習(xí)的關(guān)鍵輸入信號。MANUS解決方案能夠捕捉高保真的人體運動,支持小規(guī)模的遠程操作數(shù)據(jù)收集和新興的大規(guī)模人機學(xué)習(xí)工作流。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.