讓機(jī)器人學(xué)會(huì)手往哪兒伸、怎么操作，東大團(tuán)隊(duì)給了新解法

本文的第一作者為東南大學(xué)碩士生莊啟源，合作者為徐赫洋、汪宜俊、趙欣陽、李洋洋。通訊作者為東南大學(xué)青年首席教授魏秀參，研究方向?yàn)橛?jì)算機(jī)視覺、機(jī)器學(xué)習(xí)與機(jī)器人。

在具身智能領(lǐng)域，可供性（affordance）預(yù)測(cè) —— 即讓機(jī)器人從視覺觀測(cè)中理解 "在哪里操作"（接觸點(diǎn)）與 "如何操作"（動(dòng)作方向）—— 是實(shí)現(xiàn)精細(xì)化機(jī)器人操作的基礎(chǔ)之一。精細(xì)操作要求機(jī)器人不僅能定位到物體的可交互區(qū)域，更要掌握接觸后的準(zhǔn)確運(yùn)動(dòng)方向，例如判斷抽屜把手的精確拉動(dòng)方向完成開合。

當(dāng)前主流方法主要分為兩大范式：基于檢索的方法無需大量機(jī)器人數(shù)據(jù)，卻受限于單一匹配的脆弱性與未見類別的覆蓋盲區(qū)；基于訓(xùn)練的大規(guī)模模型雖能學(xué)習(xí)可遷移視覺模式，卻頻繁出現(xiàn)接觸點(diǎn)定位不準(zhǔn)、動(dòng)作方向預(yù)測(cè)錯(cuò)誤的問題，難以支撐精細(xì)操作所需的空間精度。

為突破這一瓶頸，東南大學(xué)魏秀參團(tuán)隊(duì)提出了 RAAP（檢索增強(qiáng)型可供性預(yù)測(cè)）。RAAP 將 affordance 分解為靜態(tài)接觸點(diǎn)與動(dòng)態(tài)動(dòng)作方向兩個(gè)分量并針對(duì)二者設(shè)計(jì)互補(bǔ)推理機(jī)制：接觸點(diǎn)通過與 Top-1 檢索參考的稠密特征匹配可靠遷移；動(dòng)作方向則由全新的檢索增強(qiáng)對(duì)齊模型負(fù)責(zé)，通過聚合多個(gè)參考樣本與雙權(quán)重注意力機(jī)制為精細(xì)操作提供可靠運(yùn)動(dòng)指引。整個(gè)框架每任務(wù)僅需數(shù)十個(gè)訓(xùn)練樣本，即可實(shí)現(xiàn)跨類別的零樣本精細(xì)機(jī)器人操作。

目前，該論文已被機(jī)器人領(lǐng)域頂級(jí)會(huì)議 IEEE International Conference on Robotics & Automation (ICRA 2026) 接收。

• 論文標(biāo)題： RAAP: Retrieval-Augmented Affordance Prediction with Cross-Image Action Alignment
• 論文鏈接：https://arxiv.org/abs/2603.29419
• 項(xiàng)目主頁：https://github.com/SEU-VIPGroup/RAAP

RAAP：解耦靜態(tài)與動(dòng)態(tài)可供性的統(tǒng)一框架

RAAP 的核心設(shè)計(jì)思路是：靜態(tài)接觸點(diǎn)與動(dòng)態(tài)動(dòng)作方向雖同屬 affordance，但在預(yù)測(cè)難度和所需信息上有本質(zhì)區(qū)別，已有工作將二者作為可聯(lián)合遷移的屬性統(tǒng)一處理，往往顧此失彼。RAAP 明確將兩者解耦，分別采用最適合各自特性的推理機(jī)制。

檢索與靜態(tài) Affordance 遷移

RAAP 從 DROID 和 HOI4D 數(shù)據(jù)集構(gòu)建視覺 affordance 記憶庫(kù)，存儲(chǔ)分割后的物體圖像、CLIP 特征、任務(wù)標(biāo)簽以及標(biāo)注的 2D 接觸點(diǎn)與歸一化動(dòng)作方向向量，供推理時(shí)檢索調(diào)用。給定查詢場(chǎng)景，RAAP 首先通過 CLIP 文本與圖像編碼器從記憶庫(kù)中檢索 Top-K 個(gè)語義和視覺上最相關(guān)的參考樣本。對(duì)于接觸點(diǎn)定位，系統(tǒng)取 Top-1 參考，基于 Stable Diffusion 稠密特征進(jìn)行像素級(jí)匹配，將參考接觸點(diǎn)遷移至查詢圖像的對(duì)應(yīng)位置。這一策略在前人工作中已得到充分驗(yàn)證。

動(dòng)態(tài) Affordance 預(yù)測(cè)：檢索增強(qiáng)跨圖像動(dòng)作對(duì)齊

動(dòng)作方向的預(yù)測(cè)是 RAAP 的核心創(chuàng)新所在。不同于接觸點(diǎn)的幾何對(duì)應(yīng)性，動(dòng)作方向高度依賴任務(wù)語義與操作意圖，單一檢索樣本極易因匹配偏差引發(fā)全局性方向錯(cuò)誤。為此，RAAP 引入了一個(gè)檢索增強(qiáng)的跨圖像動(dòng)作對(duì)齊模塊，通過聚合 Top-K 個(gè)參考樣本的方向先驗(yàn)來降低預(yù)測(cè)歧義。

具體而言，查詢圖像與各參考圖像共享 SigLIP-2 骨干網(wǎng)絡(luò)提取 patch 級(jí)特征。對(duì)于每個(gè)參考樣本，其標(biāo)注的動(dòng)作向量經(jīng) FiLM 調(diào)制作用于視覺特征，使外觀與操作意圖聯(lián)合編碼；隨后多個(gè)參考特征拼接為統(tǒng)一的 Key-Value 矩陣，以查詢特征為 Query 經(jīng)跨注意力機(jī)制融合多參考方向線索，再通過 Transformer 編碼器回歸出預(yù)測(cè)動(dòng)作方向。

為應(yīng)對(duì)檢索樣本質(zhì)量參差不齊的問題，RAAP 進(jìn)一步設(shè)計(jì)了雙權(quán)重注意力機(jī)制：以檢索階段的 CLIP 余弦相似度作為外觀先驗(yàn)權(quán)重，以輕量門控網(wǎng)絡(luò)輸出的語義相關(guān)性作為補(bǔ)充權(quán)重，二者歸一化融合后對(duì)參考樣本加權(quán) —— 外觀權(quán)重拉近視覺相似者，語義門控權(quán)重抑制語義錯(cuò)位的噪聲參考，共同保障多參考聚合的質(zhì)量。

2D 到 3D 的 Affordance 提升與執(zhí)行

預(yù)測(cè)得到的 2D affordance 經(jīng)由相機(jī)內(nèi)參與深度點(diǎn)云提升至 3D 空間。抓取后，2D 動(dòng)作方向結(jié)合局部表面法向變換為 3D 位移向量，真實(shí)環(huán)境中采用笛卡爾阻抗控制執(zhí)行接觸后動(dòng)作，保證柔順安全的交互，最終支撐從接觸定位到運(yùn)動(dòng)執(zhí)行的全流程精細(xì)操作。

實(shí)驗(yàn)結(jié)果與分析

研究團(tuán)隊(duì)在 DROID 和 HOI4D 數(shù)據(jù)集以及真實(shí) Franka 機(jī)械臂平臺(tái)上進(jìn)行了全面評(píng)估，與 RAM（單參考檢索遷移框架）和 A0（大規(guī)模可供性預(yù)測(cè)模型）展開系統(tǒng)對(duì)比。

動(dòng)態(tài)可供性預(yù)測(cè)

以均值角誤差（MAE，越低越好）評(píng)估動(dòng)作方向預(yù)測(cè)精度。RAAP（K=3）以 32.55° 的整體平均誤差取得最優(yōu)，相比其他方法降低超過 50%。優(yōu)勢(shì)在開 / 關(guān)類任務(wù)上尤為顯著 ——RAM 的單樣本遷移和 A0 在方向預(yù)測(cè)上均頻繁出現(xiàn)全局性偏差，而 RAAP 通過多參考聚合有效消解了方向歧義。值得注意的是，DROID 子集平均每任務(wù)僅約 18 個(gè)訓(xùn)練樣本，充分體現(xiàn)了 RAAP 在極低數(shù)據(jù)代價(jià)下的競(jìng)爭(zhēng)力。

消融實(shí)驗(yàn)證實(shí)了雙權(quán)重機(jī)制的必要性：去掉門控權(quán)重或相似度權(quán)重均導(dǎo)致明顯性能下降，退化為均勻加權(quán)同樣不及完整模型，說明兩種權(quán)重信號(hào)功能互補(bǔ)、缺一不可。檢索數(shù)量 K 的實(shí)驗(yàn)表明 K=3 為最優(yōu)選擇：過少時(shí)模型易受單次檢索錯(cuò)誤影響，過多時(shí)噪聲參考開始拖累精度。

真實(shí)世界機(jī)械臂實(shí)驗(yàn)

研究團(tuán)隊(duì)在 Franka Research 3 機(jī)械臂上測(cè)試了未見物體泛化（任務(wù)相同，物體實(shí)例不同）與跨類別泛化（訓(xùn)練于開 / 關(guān)微波爐，測(cè)試于開 / 關(guān)柜子等新類別）兩類場(chǎng)景，每任務(wù)隨機(jī)位置下進(jìn)行 20 次試驗(yàn)。所有模型僅在 DROID 和 HOI4D 子集上訓(xùn)練，不使用任何真實(shí)世界演示數(shù)據(jù)。

RAAP 在未見物體場(chǎng)景下于開 / 關(guān)抽屜任務(wù)上超過 RAM 達(dá) 15 至 25 個(gè)百分點(diǎn)，在所有拾取任務(wù)中同樣取得最高成功率。跨類別場(chǎng)景中，RAAP 在關(guān)柜子任務(wù)上達(dá)到 100% 成功率，在其余任務(wù)上持續(xù)領(lǐng)先。

總結(jié)

RAAP 為精細(xì)機(jī)器人操作中的可供性泛化提供了一種將檢索與對(duì)齊學(xué)習(xí)統(tǒng)一的解耦框架。其核心貢獻(xiàn)在于：

• 提出 RAAP，統(tǒng)一檢索與訓(xùn)練范式，在數(shù)據(jù)稀缺下實(shí)現(xiàn)泛化，每任務(wù)僅需少量訓(xùn)練樣本即可達(dá)到強(qiáng)性能，為精細(xì)操作場(chǎng)景下的低成本部署提供了可行路徑。
• 設(shè)計(jì)檢索增強(qiáng)對(duì)齊模型，通過雙權(quán)重注意力聚合多個(gè)參考，同時(shí)對(duì)靜態(tài)與動(dòng)態(tài) affordance 采用互補(bǔ)機(jī)制。
• 在 DROID、HOI4D 及真實(shí)平臺(tái)上的全面評(píng)估，證明 RAAP 在未見物體和跨類別泛化場(chǎng)景下均優(yōu)于基線，并在仿真與真實(shí)環(huán)境中驗(yàn)證了零樣本精細(xì)機(jī)器人操作能力。