零樣本 Sim-to-Real ！實現五指靈巧手力控抓取與手內操作

實現具備人類水平的靈巧操作能力，是機器人學領域長期以來的核心挑戰之一。盡管多指靈巧手在硬件上具備了類似人類的潛力，但由于接觸豐富的物理特性和非理想的驅動機制，訓練能夠直接部署在真實硬件上的控制策略仍然非常困難。

ByteDance Seed 團隊最新的研究論文《Closing the Reality Gap: Zero-Shot Sim-to-Real Deployment for Dexterous Force-Based Grasping and Manipulation》 [1]，針對這一關鍵問題提出了實用的強化學習（RL） 框架。

該研究的核心貢獻在于提出了一套完整的 Sim-to-Real 解決方案，通過結合高密度的觸覺反饋和基于電機電流估算的關節力矩感知，顯式地調節物理交互過程。該框架不僅解決了高分辨率觸覺仿真的計算瓶頸，還通過數據驅動的執行器建模消除了對昂貴力矩傳感器的依賴，最終實現了在純仿真環境中訓練的策略。在仿真或訓練環境中完成訓練后，模型能夠在真實的五指靈巧手上實現零樣本（Zero-Shot） 部署，即無需額外的真實數據進行微調，便可直接在真實機器人上運行。

Figure 1 ：融合觸覺感知與關節力矩的全狀態策略框架

一、三大核心技術：

打通從仿真到現實的感知與驅動鏈路

論文的核心問題在于如何克服仿真與現實之間在觸覺感知、接觸物理和執行器動力學方面的巨大差異（Reality Gap），從而訓練出能夠進行力控抓取和靈巧操作的全狀態策略。

該研究構建了一個由三大核心技術組成的完整體系，實現了從仿真訓練到真實部署的無縫銜接。

1. 計算高效的觸覺仿真：高分辨率 + 高幀率，魚與熊掌兼得

高保真度的觸覺仿真是學習接觸豐富技能的長期障礙。傳統的有限元分析（FEM） 或軟體仿真計算成本過高，無法滿足強化學習對大規模并行和高幀率的需求。

該研究提出了一種基于距離場的快速觸覺仿真方法。通過并行正向運動學，計算密集的虛擬觸覺單元陣列與物體表面之間的距離。這種方法不僅能夠提供強化學習所需的高頻信號，還保留了關鍵的接觸信息（如接觸力大小和受力加權接觸中心）。這種設計在保證物理合理性的同時，極大地提升了仿真效率，使得策略能夠在仿真中充分探索復雜的接觸動力學。

Figure 2 ：接觸點建模與材料屬性

通過對比仿真與真實世界中的接觸數據（如下圖所示），可以發現兩者在接觸點分布和接觸力大小上表現出高度的一致性，證明了該觸覺仿真方法的高保真度。

2. 電流-力矩校準：無需力矩傳感器，也能精準力控

大多數商用靈巧手采用連桿或者腱繩等傳動結構，缺乏關節級的力矩傳感器，只能提供電機電流測量值。仿真中的理想力矩控制與真實電機的非理想特性之間存在巨大的現實鴻溝。

為了解決這一問題，研究團隊引入了電流-力矩校準機制。通過在準靜態條件下擬合電機電流與接觸力、仿真力矩與接觸力之間的線性關系，建立了一個可靠的「電流到力矩」映射。這種數據驅動的校準方法，使得策略在真實部署時，能夠將讀取到的歸一化電流信號作為「關節力矩」輸入，從而在無需物理力矩傳感器的情況下，實現了對交互力的顯式感知和控制。

Figure 3 ：真實世界電流-力與仿真力矩-力的校準與對齊

3. 執行器動力學建模與隨機化：顯著提高 Sim-to-Real 魯棒性

真實電機存在諸多非理想特性，如齒輪間隙（Backlash）、力矩-速度飽和（Torque-Speed Saturation） 以及摩擦力等。如果仿真中忽略這些特性，訓練出的策略在真實硬件上往往會表現出脆弱性。

該研究在仿真中顯式地對這些執行器動力學進行了建模，并對關鍵參數（如堵轉力矩、空載速度、齒輪間隙閾值等） 進行了廣泛的域隨機化（Domain Randomization）。這種策略迫使控制策略適應各種硬件缺陷和公差變化，顯著提高了 Sim-to-Real 轉移的魯棒性。

二、全狀態策略與創新訓練范式：

實現力控自適應抓取與手內物體旋轉

基于上述 Sim-to-Real 框架，研究團隊成功訓練并部署了兩種關鍵的靈巧操作技能：力控自適應抓取（Force-Adaptive Grasping） 和手內物體旋轉（In-Hand Object Reorientation）。

1. 倒置「接物」訓練范式：提升樣本效率與魯棒性

傳統的桌面抓取訓練范式往往面臨樣本效率低、獎勵工程復雜以及容易產生「獎勵黑客」（Reward Hacking） 行為等問題。為此，研究團隊提出了一種創新的倒置「接物」（Inverted Catching） 訓練設置。

在這種設置下，靈巧手手心向上固定，物體從上方隨機掉落。這種利用重力自然將物體引入工作空間的方法，極大地簡化了探索過程，使策略能夠專注于學習手指協調和接觸后的力調節。同時，這種動態接物過程鼓勵形成包絡式、多點接觸的抓取姿態，自然抑制了不穩定的邊緣抓取策略，促使策略學習到更接近人類偏好的穩定抓取方式。

2. 力自適應抓取：精準的力矩與接觸力控制

在力自適應抓取任務中，策略需要根據用戶輸入的力指令（Force Command），動態調節各個手指的抓取力。

研究表明，結合接觸力懲罰（R-force） 和關節力矩懲罰（R-torque） 的復合獎勵函數是實現穩健力控的關鍵。僅懲罰接觸力會導致關節力矩不足，抓取不穩；僅懲罰關節力矩則無法有效將力傳遞到指尖。兩者的結合使得策略能夠同時協調關節驅動和指尖接觸，實現與指令高度線性相關的精準力控。

Figure 4 ：不同獎勵設置下，關節力矩和接觸力隨力指令的變化

3. 手內物體旋轉：觸覺與本體感覺的深度融合

手內旋轉任務要求策略通過協調的手指步態（Finger Gaits），在保持穩定接觸的同時，將物體繞指定軸旋轉。

消融實驗（Ablation Study） 深刻揭示了不同感知模態的重要性。結果顯示，包含受力加權接觸中心、接觸力和 6D 姿態表示的完整觀測配置取得了最佳性能（平均連續成功 25.1 次）。移除任何一種觸覺信息（接觸中心或接觸力） 都會導致性能顯著下降，而完全沒有觸覺反饋的基線策略幾乎無法完成任務（平均成功 1.1 次）。這充分證明了高分辨率觸覺反饋在復雜手內操作中的不可替代性。

Figure 5 ：真實世界與仿真環境中的手內操作任務可視化結果

三、星動紀元五指靈巧手星動 XHAND1 ：

DexManip 零樣本部署的硬件核心支撐

DexManip 框架之所以能夠實現驚艷的零樣本（Zero-Shot） 部署，除了算法層面的創新，更離不開底層硬件——星動紀元自研國內首創全直驅五指靈巧手——星動 XHAND1的強大支撐。該框架與 XHAND1 的硬件特性形成了完美的「軟硬協同」，在實際應用場景中展現出不可替代的落地優勢。

Figure 6 ：星動 XHAND1 靈巧手

1. 270° 環繞指端高分辨率觸覺陣列：捕捉精細接觸，破解手內操作感知瓶頸

DexManip 論文的消融實驗明確指出，高分辨率的觸覺反饋（接觸中心與接觸力） 是實現手內物體旋轉等復雜操作的決定性因素。星動 XHAND1 在每個手指端配備了270° 環繞的高分辨率觸覺陣列傳感器（單指 > 100 個觸覺點）。相比于傳統的壓阻類平板型傳感器，這種全包絡的曲面陣列能夠無死角地捕捉物體在指尖滾動、滑動時的微小接觸變化。結合高精度的力覺精度和三維力觸覺感知能力，星動 XHAND1 為 DexManip 策略提供了極其豐富且精準的觀測輸入，使其在處理不規則物體或執行精細的「指尖步態（Finger Gaits）」時游刃有余。

2. 高精度 URDF 與觸覺仿真模型的無縫對接：精準對接仿真，縮小現實鴻溝

DexManip 框架的核心突破在于其計算高效的基于距離場的觸覺仿真。這一算法的成功高度依賴于仿真模型與真實物理世界的一致性。星動 XHAND1 官方提供了極高精度的 URDF 模型，不僅精確描述了運動學連桿和動力學參數，還完美映射了真實傳感器的空間分布。這種「數字孿生」級別的模型支持，使得 DexManip 在仿真中計算的虛擬觸覺單元（Virtual Tactile Cells） 能夠與真實星動 XHAND1 的傳感器陣列實現 1:1 的精準對齊，從而大幅降低了 Sim-to-Real 的現實鴻溝，確保了純仿真訓練策略在真實硬件上的「開箱即用」。

3. 全直驅架構與電流-力矩校準的完美契合：實現精準力控，響應更靈敏

在力自適應抓取任務中，DexManip 提出通過「電流-力矩校準」來替代昂貴的物理力矩傳感器。星動 XHAND1 采用的全直驅（Direct-Drive） 電機架構為這一算法提供了最理想的硬件基礎。全直驅設計從根本上消除了傳統減速器帶來的巨大摩擦、遲滯和非線性干擾，使得電機的相電流與輸出力矩之間保持著極高的線性相關性。這不僅讓 DexManip 的電流-力矩校準過程更加精確可靠，還賦予了靈巧手極高的力控帶寬和超靈敏的動態響應能力，使其能夠根據 10% 、50% 、100% 等不同指令，瞬間且精準地調節抓取力度，安全地操作薯片、毛絨玩具等易碎或柔性物體。

Figure 7 ：對訓練中未見過的不規則形狀物體進行力自適應抓取

這一成果標志著靈巧操作技術在克服 Sim-to-Real 鴻溝方面取得了關鍵突破。通過提供一套無需昂貴力矩傳感器和高計算成本觸覺仿真的實用方案，該研究大幅降低了基于力的靈巧操作研究的門檻，為多指靈巧手在柔性制造、服務機器人等真實復雜場景中的廣泛應用鋪平了道路。

參考文獻

[1] ByteDance Seed. Closing the Reality Gap: Zero-Shot Sim-to-Real Deployment for Dexterous Force-Based Grasping and Manipulation. 2025.