![]()
本文的第一作者(排名第一) 唐家祺 為香港科技大學 HKUST Visual Intelligence Lab博士生,共同第一作者包括嚴瑩瑩,王乾宙,夏宇陽,耿博同和陳建民。通信作者包括陳啟峰教授(香港科技大學)和魏巍教授(西北工業大學)。
當你在手機地圖上查看實時路況,當天氣預報準確預警臺風路徑,當農業部門監測到作物病蟲害——這一切背后,都離不開遙感技術。然而,傳統的遙感數據分析更像是「眼睛」:它能看見,卻很難理解;它能執行指令,卻不會主動思考。
如今,一場由 AI 智能體驅動的變革正在發生。近日,來自香港科技大學、西北工業大學、清華大學等多家高校及研究機構的學者聯合發布了遙感 AI 智能體領域系統綜述。全文逾萬字,首次為「遙感智能體」給出了嚴格定義,系統梳理了其架構、應用、數據集與未來方向。
這項研究宣告:遙感正從被動感知走向主動認知,從單一工具演變為能規劃、會記憶、可協作的「地理空間智能體」。
![]()
- 論文標題:Intelligent Remote Sensing Agents: A Survey
- 論文鏈接:https://github.com/PolyX-Research/Awesome-Remote-Sensing-Agents/paper/preprint.pdf
- 開源資源列表:https://github.com/PolyX-Research/Awesome-Remote-Sensing-Agents
![]()
圖 1:展示了近十年來遙感智能體的發展脈絡,從早期的單智能體探索到 2024-2026 年多智能體系統的爆發。
四大核心貢獻,搭建統一框架
這篇綜述的貢獻可以概括為四點:
- 首次形式化定義遙感智能體,將其建模為感知、規劃、記憶、動作、環境交互的閉環系統,為后續研究提供了數學基礎。
- 提出多粒度技術分類法,從規劃策略、記憶機制、動作執行、多智能體協作四個維度系統分析現有方法。
- 全景式梳理六大應用場景,覆蓋城市治理、精準農業、生態監測、海洋監管、應急響應、地質勘探。
- 整理開放數據集與評測基準,并指出可靠性、安全性、動態適應等關鍵挑戰,為未來研究繪制了路線圖。
什么是遙感 AI 智能體?不只是「會聊天」
與通用大語言模型不同,遙感智能體不僅要會「說」,更要會「做」。論文給出了一個嚴謹的數學定義,但通俗地理解:它是一個能理解用戶高層目標、自主拆解任務、調用專業工具(如 GIS 軟件、氣象數據、在線知識庫),甚至指揮衛星或無人機去獲取新數據的智能系統。
![]()
圖 2:展示了智能體的核心模塊:感知、規劃、記憶、動作,以及與環境的交互。在 wildfire 示例中,智能體通過衛星影像感知火情,結合氣象數據規劃預測模型,調用無人機執行偵察任務,并將結果存入記憶庫供后續使用。
比如,你不再需要告訴它「用 NDVI 指數分析這片農田」,而是可以直接問:「看看我負責的區域里,哪些田塊最近可能缺水了?」智能體便會自己規劃:獲取多光譜影像、計算植被指數、比對歷史數據、排除干擾因素,最后生成帶地圖的報告——全程無需人工干預。
這種能力的背后,是四個核心模塊的協同工作:
規劃策略:從「照劇本演戲」到「即興演出」
![]()
圖 3 左:開環規劃在任務開始前生成固定流程,適合靜態數據;右:閉環規劃根據工具輸出、環境變化和任務目標實時調整計劃。
- 開環規劃:適合靜態任務,預先制定完整流程(如數據獲取→預處理→分析→輸出),效率高但缺乏應變。
- 閉環規劃:動態調整計劃。例如云層遮住光學影像,智能體立刻改用雷達數據繼續分析,或重新調度衛星獲取新影像。
記憶機制:讓智能體「越用越聰明」
![]()
圖 4:展示了智能體如何通過上下文記憶和結構化狀態存儲維持工作流連貫性,并通過經驗池和知識庫實現跨任務復用。
- 內部記憶:記錄單次任務中的中間結果(如矢量圖層、工具參數),保證流程連貫。
- 外部記憶:跨任務復用經驗,比如把成功處理洪水的流程存入「經驗池」,下次遇到類似災害直接調用。
動作執行:從「動嘴」到「動手」
![]()
圖 5:動作執行
- 調用外部工具:如 GDAL 處理柵格、SNAP 分析雷達數據。
- 生成代碼:用 Python/R 實現定制化分析,突破預定義工具限制。
- 具身動作:直接控制無人機改變航線、調整衛星拍攝角度,實現「感知-決策-行動」閉環。
多智能體協作:1+1>2 的群體智慧
![]()
圖 6 左:集中式協作中,中央控制器分配任務、匯總結果;右:分布式協作中,多個智能體通過共享內存和批評協商達成共識。
面對全球尺度的監測或復雜災害響應,單一智能體力不從心。綜述區分了兩種協作模式:
- 集中式:一個「大腦」統一調度,適合需要嚴格一致性的流程(如生成標準地圖產品)。
- 分布式:多個智能體平等協商,通過交換證據、互相批評達成共識,適合信息碎片化的場景(如多源數據融合定位)。
六大應用場景,智能體已「上崗」
![]()
圖 7:智能體在城市治理、精準農業、生態監測、海洋監管、應急響應、地質勘探中的典型應用。
- 城市治理
AI 智能體在城市治理中實現感知、分析與行為生成的閉環。AirSpatialBot 通過空間感知 VLM 完成三維場景下的精細車輛識別與檢索;ChatGeoAI 與 GeoGPT 將自然語言指令轉化為 GIS 工具鏈,自動化空間分析與推理;LLMob 與 AgentMove 則利用個體記憶與集體模式模擬城市居民行為軌跡,LLMLight 通過語言推理優化交通信號控制,推動城市管理從被動響應向主動干預演進。
- 精準農業
智能體將遙感分析與農業決策深度融合。GeoLLM-Squad 通過多智能體協作自動化 NDVI 等指標計算;AgriGPT 借助檢索增強處理復雜農藝查詢;ChatLeafDisease 基于思維鏈從圖像直接診斷作物健康。同時,數據驅動的 ABM(如 Data-Driven ABM)學習政府與農戶行為偏好,支持土地利用優化,為精準農業提供從感知到決策的完整支撐。
- 生態監測
智能體賦能生態系統從定量評估到政策分析的全鏈條。REO-VLM 突破分類局限,直接回歸預測地上生物量;TREE-GPT 集成林業知識庫與 SAM 模型實現單木級結構提取;CLEAR 利用 LLM 檢索摘要氣候政策,提升決策可及性;EarthLink 與 DA4DTE 自動化氣候科學研究工作流與數據發現,將衛星觀測轉化為可操作的生態敘事。
- 海洋監管
智能體在海洋科學推理與自主航行控制兩大方向取得突破。WaterGPT 與 OceanGPT 分別針對水文與海洋科學,集成工具調用與多智能體協作,支持數據處理、知識問答與任務決策;Autonomous Vehicle Maneuvering 與 Agyei 等人的工作將視覺-LLM 嵌入航海仿真與水面無人艇閉環控制,實現動態環境下的路徑規劃與可解釋決策,推動海洋監管向智能化、自主化發展。
- 應急響應
智能體在災害監測與建模決策中展現關鍵價值。RescueADI 通過規劃-感知-識別鏈支持自適應多步解釋;UAV-CodeAgents 利用多智能體 ReAct 協作動態重規劃無人機任務;FIRE-VLM 在數字孿生中實現火線追蹤。Knowledge-Guided wildfire、ESCAPE、FLARE 與 WildfireGPT 分別通過領域知識注入、認知智能體建模、行為理論結合 RAG 等,提升火勢模擬、地震疏散與應急問答的精準度與時效性。
- 地質勘探
智能體將地質解釋與勘探自動化推向新高度。PEACE 與 STA-CoT 通過領域知識注入與多智能體鏈式推理,實現全圖信息提取與多影像地質推理;Geo-MMRAG 構建多模態地質知識庫,利用檢索增強緩解巖性識別歧義;MineAgent 與 GeoAgent 通過模塊化框架與工具調用,自動化端到端勘探流程,并引入專用基準 MineBench,顯著提升礦物勘探的智能化水平。
數據與評測:地基不牢,大廈難起
智能體的性能高度依賴數據和評測方法。綜述系統整理了現有資源(詳見正文):
- 感知數據集:如 iSAID(實例分割)、Topo-boundary(道路拓撲提取)、STAR(場景圖生成)等。
- 推理數據集:如 GeoChat(多輪對話指令)、LEVIR-MCI(變化描述)、AirSpatial(三維空間問答)等。
- 決策數據集:如 RescueADI(災害響應流程)、AEOS-Bench(衛星調度軌跡)等。
挑戰在前,未來可期
盡管前景廣闊,遙感智能體仍面臨重重難關:
- 可靠性:模型幻覺可能導致誤判,尤其在災害應急中。需引入外部知識驗證、不確定性量化。
- 動態適應:云層、光照、傳感器故障瞬息萬變,智能體必須能實時調整計劃。
- 安全隱私:高分辨率影像可能泄露敏感目標,工具調用也可能被濫用。聯邦學習、差分隱私等技術將成為保障。
- 評測缺失:缺乏對規劃、工具使用、協作能力的整體評估,新基準亟待建立。
面向未來,論文指出了五個關鍵方向:
- 自進化:從過往任務中學習,不斷優化知識庫和流程。
- 因果推理:不僅知道「發生了什么」,更要回答「為什么發生」,為政策制定提供依據。
- 群體智能:多智能體協同應對氣候變化、糧食安全等全球性問題。
- 具身交互:不僅要分析數據,還要主動獲取數據——指揮衛星變軌、調度無人機巡檢。
- 個性化服務:為不同用戶(規劃師、農民、應急人員)提供定制化洞察。
結語
這篇萬字綜述不僅為遙感 AI 智能體搭建了統一的理論框架,更是一份面向實踐的行動指南。它預示著未來的遙感系統將不再是沉默的「眼睛」,而是能思考、會行動、可對話的「地理空間智能體」。
當 AI 智能體真正理解地球的每一寸變化,一個更智慧、更可持續的未來或許就在眼前。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.