剛剛，機器人練成了「白眼」：∞幀畫面邊看邊3D重建我們的世界！

金磊 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

剛剛，機器人的視覺，又達到了一個新的Level。

因為現(xiàn)在，一個新模型已經(jīng)實現(xiàn)了無盡流：看∞幀視頻可以穩(wěn)定實時3D重建！

來，感受一下這個feel：

視頻地址：
https://mp.weixin.qq.com/s/h3UIMZn46LA2m570p9pKkw

或許有小伙伴要問了，這有啥用啊？

簡單來說啊，若是這個模型放到掃地機器人身上，那它就能邊打掃邊認清家里的3D結(jié)構(gòu)；若是放到自動駕駛身上，那就是邊開車邊算清路面情況。

有一種火影里寧次白眼的那種味道了。

（注：白眼的能力是360°無死角透視+極遠的洞察力+看穿查克拉流動；對應(yīng)這個模型的全方位空間感知、長序列不丟失細節(jié)的特點。）

△圖源由AI生成

這，就是螞蟻靈波最新開源的LingBot-Map，一個專為純自回歸的流式3D重建而打造的基礎(chǔ)模型。

不同于此前具身智能視覺的3D重建，這一次，LingBot-Map做到了快、準、狠——

打破了“既要實時、又要記路、還要省顯存”的不可能三角。

這種Level的流式3D重建，并不簡單

在聊“流式3D重建為什么難”這個話題之前，咱們且需要先分清兩個概念：普通3D重建和流式3D重建。

因為它倆可以說是完全兩個維度的技術(shù)。

先來看傳統(tǒng)離線3D重建（離線）。

它的本質(zhì)用一種微妙的形容，大概就是“事后諸葛亮”，因為必須先拍完完整視頻、存儲所有幀畫面，再集中算力全局建模。

這樣做的缺點很明顯就是速度慢、耗顯存、無法實時交互，應(yīng)用方面也能用在影視建模、數(shù)字孿生等靜態(tài)場景，根本沒法給需要實時決策的機器人、自動駕駛用。

但流式3D重建（在線）就不一樣了，它是真能滿足具身智能的核心剛需：

來一幀算一幀，邊拍邊建模、邊感知邊決策，和人類邊走邊認路的視覺邏輯高度一致。

不過看似簡單，但在實現(xiàn)的過程中，業(yè)內(nèi)公認的有三座大山擋在面前。

△圖源由AI生成

第一，記太多就爆顯存。

如果模型硬存所有歷史幀，幾千幀過后顯存直接拉滿，消費級顯卡根本跑不動，工業(yè)設(shè)備也扛不住長時運行。

第二，記太少就忘光光。

若是只緩存最近幾幀，模型會出現(xiàn)災(zāi)難性遺忘，長時間運行后軌跡瘋狂漂移、重建場景扭曲變形，相當于人走久了忘了自己在哪。

第三，精度速度不可兼得。

要么建模精準但推理慢到卡頓，要么實時性夠了但畫面糊成馬賽克，始終找不到平衡點。

更關(guān)鍵的是，之前絕大多數(shù)的流式方案，不是依賴測試時優(yōu)化，就是用未來幀信息做全局校準，亦或者加入人工設(shè)計的關(guān)鍵幀規(guī)則，并非端到端的純推理。

而LingBot-Map走的是純自回歸這條更難的路：嚴格遵循因果律，僅依賴歷史幀信息推理當前幀，無任何后處理、無未來幀依賴、無人工優(yōu)化規(guī)則，所有能力全靠模型端到端學習。

也正因為有了純自回歸的約束，相當于讓蒙眼的人僅憑過往記憶走迷宮，既要求走得快、又要求記準路、還不能多耗腦力……

難，是真的難。

但螞蟻靈波這一次，還真就把這個硬骨頭給啃下來了。

像人一樣選擇性記憶

LingBot-Map背后技術(shù)的靈感，來源于人。

就好比咱們在大城市里逛街，卻能做到不迷路，不是因為我們的大腦像錄像機一樣全程“錄制”，關(guān)鍵在于大腦執(zhí)行的是選擇性記憶這個操作。

說白了，就是只記住有效、關(guān)鍵的幀。

LingBot-Map的核心，正是完美復(fù)刻了這種機制，名曰幾何上下文注意力（Geometric Context Attention，GCA）。

更具體而言，LingBot-Map通過GCA，對記憶進行了非常精妙的分層結(jié)構(gòu)化管理。

首先是錨點（Anchor），它的作用讓機器人記住“我從哪來”。

任何3D重建都需要一個絕對的坐標系和尺度基準，就好比人類進入陌生房間，會下意識記住門口位置當參照系，防止迷路。

LingBot-Map的錨點模塊，就是起到這樣的一個作用。

它會鎖定初始幾幀畫面作為基準，固定全局坐標和尺度，如此一來，就解決了純自回歸模型容易出現(xiàn)的尺度模糊、坐標漂移等問題，給整個重建過程定好原點。

其次是位姿參考窗口（Pose-reference Window），用來記住“我身邊有什么”。

因為光有起點是不夠的，要想走得穩(wěn)，還得看清腳下的路。

于是團隊便在LingBot-Map里設(shè)置了位姿參考窗口，它只保留最近的k幀的完整高維特征。

這部分記憶雖然是短期的，但信息極其豐富密集，這樣就可以確保模型能夠精準地捕捉局部的幾何細節(jié)，讓當前幀能夠絲滑地與前幾幀拼接在一起，讓每一步都踩得極準。

最后就是軌跡記憶（Trajectory Memory），起到記住“我走過的路”的作用。

這也是LingBot-Map中非常關(guān)鍵的一個步驟。

對于那些既不是起點、也不在眼前，屬于很久以前的中間歷史畫面，模型不再存儲它們龐大具體的圖像像素細節(jié)。

取而代之的是，它將這些歷史幀的宏大信息，極致壓縮成了區(qū)區(qū)6個極簡的Token（包含相機、錨點和寄存器 Token），并打上時間戳（位置編碼）。

對比傳統(tǒng)因果注意力，LingBot-Map的單幀信息增長量直接降低80倍，哪怕處理萬幀長視頻，顯存消耗也幾乎恒定。

三大模塊協(xié)同發(fā)力，便是LingBot-Map打破不可能三角的關(guān)鍵原因了。

那么這套打法效果又如何呢？

實測拿下新SOTA

從論文中呈現(xiàn)的實驗結(jié)果來看，LingBot-Map已經(jīng)在多項權(quán)威基準測試中，全面碾壓其它流式模型，穩(wěn)坐SOTA之位。

首先是長序列穩(wěn)定性。

在10000+幀的超長視頻序列測試中，模型全程保持穩(wěn)定重建質(zhì)量，沒有出現(xiàn)任何明顯的軌跡漂移。要知道，同類純自回歸模型往往幾百幀就開始扭曲，萬幀穩(wěn)定的表現(xiàn)，直接刷新了行業(yè)紀錄。

其次是速度與精度雙突破。

在518×378的主流分辨率下，推理速度達到20FPS，比同類流式方法基線快了近一倍，完全滿足機器人、自動駕駛的實時性需求。

在Oxford Spires、ETH3D、Tanks & Temples等權(quán)威數(shù)據(jù)集測試中，軌跡誤差降低約77%，3D點云建模精度、全局一致性遠超所有流式競品，甚至比部分離線優(yōu)化模型表現(xiàn)更優(yōu)。

除此之外，模型運行顯存僅需13.28GB，普通消費級顯卡即可流暢部署，徹底告別對高端專業(yè)顯卡的依賴。

對比同類方案動輒30GB+的顯存需求，LingBot-Map實現(xiàn)了“技術(shù)頂尖、落地親民”，讓流式3D重建具備了規(guī)模化商用的基礎(chǔ)。

而且效率測試的數(shù)據(jù)更加直觀。

對比全歷史幀緩存方案，LingBot-Map用64幀窗口設(shè)計，將推理速度從3.12FPS提升至19.95FPS，顯存從36.06GB壓縮至13.28GB，速度提升6倍、顯存降低63%，同時精度反而更高，印證了GCA記憶機制的優(yōu)越性。

在看完LingBot-Map背后的技術(shù)和展現(xiàn)的效果之后，還有一個話題值得聊一聊：

LingBot-Map的開源絕不是為了單點刷榜、秀肌肉。

補齊另一塊具身智能關(guān)鍵拼圖

若是大家長期關(guān)注螞蟻靈波，就不難發(fā)現(xiàn)它在下一盤大棋。

僅僅在今年1月，螞蟻靈波便已經(jīng)陸續(xù)開源了多款模型：

從感知世界的LingBot-Depth，到理解物理規(guī)律的LingBot-World，再到控制身體的LingBot-VLA和全球首個具身世界模型LingBot-VA。

而今天LingBot-Map的開源，則補齊了“邊走邊記、理解并重建連續(xù)真實三維空間”的關(guān)鍵拼圖。

這就意味著螞蟻靈波正式構(gòu)建了“感知-建模-模擬-控制”全鏈路具身智能技術(shù)棧，從看懂世界、建模世界，到理解世界、操控身體，形成了完整的技術(shù)閉環(huán)。

此舉對全產(chǎn)業(yè)落地來說，亦是有著重要的價值。舉三個例便一目了然了：

• 機器人：倉庫巡檢、家庭服務(wù)，機器人不再需要昂貴的激光雷達，單靠攝像頭就能邊走邊建圖，真正實現(xiàn)低成本、大規(guī)模部署。
• AR/VR：戴上眼鏡，虛擬物體可以零延遲、不漂移地疊加在真實桌面上，虛實融合的體驗將被拉滿。
• 自動駕駛/無人機：城市級大場景的實時建模成為可能，為純視覺的自動駕駛方案提供了更強大的時空理解能力。

因此，綜上所述，LingBot-Map的出現(xiàn)，可以說是機器理解真實物理世界邁出的關(guān)鍵一步。

與此同時，螞蟻靈波的持續(xù)開源，也讓我們清晰地看到，具身智能的規(guī)模化落地，正在以前所未有的速度向我們駛來。

Hugging Face：
https://huggingface.co/robbyant/lingbot-map

ModelScope：
https://www.modelscope.cn/models/Robbyant/lingbot-map

GitHub：
https://github.com/Robbyant/lingbot-map

Paper：
https://arxiv.org/abs/2604.14141

Homepage：
https://technology.robbyant.com/lingbot-map