北大ProAct：首個雙系統「主動社交」智能體，不做提線木偶

新智元報道

編輯：LRST

【新智元導讀】現有的具身智能大多是「你說我做」的被動響應者。如何讓機器人像人類一樣擁有「主動性」？北京大學VCL實驗室針對當前具身智能體「被動響應」的局限，提出了一個基于「雙系統」架構的主動社交智能體框架ProAct，模仿人類「快思考」與「慢思考」的認知機制，使機器人不僅能夠進行流暢自然的對話，還能基于情境理解主動發起互動，從而具備真正的「社交心智」。

在與機器人交互時，你是否常有這種感覺：如果你不說話，它就永遠沉默；如果你不發指令，它就「呆若木雞」。

這是因為目前的交互式系統絕大多數都是反應式的，它們被困在一個短暫的時間窗口里，只能根據當前的語音或視覺輸入做出反饋，這種機制使得智能體難以基于積累的長期語境來推斷意圖，更無法發起主動行為。

然而，生活中的人類社交本質上是雙向且主動的。

在日常互動中，人們不僅是對他人的話語做出反應，更會運用意向性去預測需求、掌握主動權并在未被請求時采取行動。

例如，當朋友顯得猶豫不決時給予鼓勵，或在看到空杯子時主動倒水。這種由內部目標驅動而非被動響應外部刺激的「主動性」，是區分真正的伙伴與簡單問答機器人的關鍵。

想在具身智能體上實現這一點，還得解決一個核心矛盾：時間尺度。主動行為需要深思熟慮的推理和長程語境分析，也就是要「慢想」；而實時交互要求極低的延遲，必須「快回」。單一的端到端模型往往難以兼顧二者，因為深度推理會阻塞實時響應，而追求速度則會犧牲行為的合理性和準確性。

受認知科學中雙重加工理論的啟發，北京大學研究團隊提出了一種雙系統架構ProAct，核心思路在于快慢分離， 即將即時的反應與慢速的推理分離，使得ProAct兼具響應速度與主動的深度社交能力。

論文地址：https://arxiv.org/abs/2602.14048

項目主頁：https://proactrobot.github.io/

其中，行為系統（Behavioral System）作為「快系統」，負責維持高頻、低延遲的多模態交互流；認知系統（Cognitive System）作為「慢系統」，配備記憶與推理模塊，負責長程推理并生成高層主動意圖。

圖1. ProAct 雙系統框架概覽。(a) 系統架構整合了快速的行為系統與慢速的認知系統；(b) 實時交互中，智能體在用戶離開時主動發起挽留與提醒。

為了彌合兩者的時間差，ProAct進一步提出了一種基于流匹配（Flow Matching）的流式生成模型，支持通過 ControlNet 異步注入語義意圖，這樣一來，機器人在保持流暢交互的同時，也能無縫地從「被動反應」切換到「主動出擊」。

文章的技術貢獻主要體現在以下三點：

1. 提出了一種用于具身社交智能體的雙系統架構，成功將實時反應與語境驅動的主動行為融為一體。

2. 提出一種基于流匹配的流式生成模型，支持將高層語義意圖異步注入實時動作流，實現了反應式與主動式行為的平滑切換。

3. 將該系統部署于Unitree G1人形機器人，在真實世界中驗證了其主動交互的有效性。

下方的演示視頻可以直觀地感受ProAct如何讓機器人像人類一樣擁有「社交心智」：

視頻1. 在生活管家場景中，ProAct 發現用戶有急事后停止說話，并主動提醒用戶離開時忘記拿書包。

視頻2. 在情感支持場景中，ProAct 檢測到用戶劇烈的情緒波動，主動詢問緣由并安慰用戶。

視頻3. 在尋找物品場景中，ProAct在用戶尋找物品時，回憶起用戶之前放置藥品柜的經過，主動提醒用戶藥瓶放在了哪里。

方法簡介

ProAct采用雙系統并行運行的機制：行為系統維持實時交互閉環，認知系統在后臺進行周期性推理。

行為系統：流式多模態交互

行為系統充當著「快系統」的角色，負責處理用戶音頻與視覺流，生成低延遲的語音與動作反饋，由一個流式Omni-LLM和一個流式動作生成器級聯而成。

語音方面，系統利用GPT-4o Realtime模型處理用戶語音和第一視角圖像，實現了支持隨時打斷的實時對話。動作方面，為了維持具身的「存在感」，動作必須連續且流暢。

為此，ProAct提出了一種基于流匹配的生成模型，具備極高的實時性，首次響應時間與真實社交場景中的人類相當。通過「重疊-緩存」機制，ProAct保證每一幀動作的生成時間小于播放時間，并且能完美銜接上一幀的動作，滿足實時流式輸出的要求。

此外，模型還能同時接收雙方的語音流進行雙人交互建模，這讓機器人不僅在說話時有手勢，在傾聽時也能有自然的身體晃動等反饋。

圖2. 認知系統架構。(a) 增量式多模態輸入；(b) 上下文編碼器與行為規劃器并行工作；(c) 通過不同通道注入行為計劃。

認知系統：社會語境推理

認知系統作為「慢系統」，通過一個基于 LLM 的智能體框架在后臺運行，旨在解決「何時」以及「如何」發起主動行為的問題。如圖 2 所示，該系統包含兩個關鍵模塊。

首先是上下文編碼器 （Context Encoder）。為了防止隨著對話進行導致推理延遲增加，該模塊負責將累積的對話歷史、視覺幀與過往行為壓縮進一個「記憶庫」。記憶庫結構化地存儲了用戶分析（如心智理論）、情境追蹤（如物體位置變化）以及機器人的歷史行為。

其次是行為規劃器 （Behavior Planner）。該模塊依據當前的記憶與感知，進行動機評估。系統會從視覺場景變化、用戶意圖信號、對話狀態、社會規范要求、情感響應需求這五個維度對當前狀況進行打分。當任一維度的動機分數超過設定閾值時，系統將觸發主動干預。

最終，認知系統的輸出將通過三個通道注入行為系統：一是手勢意圖注入，通過 ControlNet 引導動作生成，例如「揮手打招呼」；二是對話干預，向 Omni-LLM 注入指令以打斷對話或引導話題；三是移動控制，調整機器人的站位與朝向，例如「轉向用戶」。

實驗結果與部署

研究者們將ProAct全棧部署在Unitree G1人形機器人上，實驗設計了包括「海報講解」、「講故事」、「尋找物品」等多個交互場景。

圖3. 在海報講解場景中，ProAct 主動發現用戶并打招呼，隨后糾正用戶的誤解。

視頻4. 在海報講解場景中，ProAct 主動發現用戶并打招呼，隨后糾正用戶的誤解。

圖4. 在講故事場景中，ProAct 檢測到用戶玩手機分心，主動中斷故事并提醒用戶。

視頻5. 在講故事場景中，ProAct 檢測到用戶玩手機分心，主動中斷故事并提醒用戶。

如上述圖片所示，在海報講解任務中，ProAct 展現了超越簡單問答的能力：它能主動捕捉路過的用戶，建立眼神接觸，并在用戶表達錯誤觀點時主動打斷并糾正。在講故事場景中，當檢測到用戶低頭玩手機時，機器人并未繼續自言自語，而是根據「社會規范」觸發器，生成了不滿的肢體語言（雙手叉腰）并口頭提醒用戶專心。通過視頻結果中的鏈接可以觀看完整的社交視頻。

視頻6. ProAct的完整demo視頻

結論

研究人員提出了一個用于主動具身社交智能體的雙系統框架ProAct。

ProAct首先構建了一個支持語義意圖注入的流式動作生成模型；在此之上，設計了能夠解耦實時反應與長程推理的雙系統架構。

可視化結果與用戶研究表明，ProAct能夠生成語境恰當的主動行為，顯著增強了人機交互的自然度與參與感 。

盡管該方法在提升主動性方面取得了顯著進展，仍存在一些局限性。首先，目前的觸發機制基于固定頻率與閾值，可能會錯過最合適的干預機會 ；其次，當前系統主要依賴云端大模型，其網絡延遲（約1-2秒）在一定程度上限制了對極速突發事件的響應能力 。未來研究者們將致力于端到端多模態模型的本地化部署與自適應觸發策略的研究。

參考資料：

https://arxiv.org/abs/2602.14048