浙大教授章國鋒帶隊(duì)創(chuàng)業(yè)，打造無限時(shí)長實(shí)時(shí)3D世界模型

編輯｜澤南

AI 領(lǐng)域最前沿的方向「世界模型」，正在出現(xiàn)一場革命。

互聯(lián)網(wǎng)上，OpenClaw 的「賽博龍蝦」在虛擬數(shù)字世界中靈活穿梭，無所不能；現(xiàn)實(shí)中，具身機(jī)器人卻依然受困于試驗(yàn)場的圍欄，難以邁向復(fù)雜的物理空間。這道橫跨虛擬與現(xiàn)實(shí)的鴻溝，本質(zhì)上是智能體對空間智能（Spatial Intelligence）感知的缺失。

2024 年，被譽(yù)為「AI 教母」的李飛飛教授創(chuàng)立World Labs強(qiáng)勢入局，正式點(diǎn)燃了空間智能這一千億級賽道的全球戰(zhàn)火。就在不久前，該公司完成了最新一輪融資，估值直接飆升至 50 億美元RTFM（實(shí)時(shí)幀模型）是 World Labs 去年 10 月發(fā)布的實(shí)時(shí)生成式世界模型，其核心在于構(gòu)建一個(gè)擁有永久一致性（Persistence）的 3D 場景，讓智能體不僅能「看見」空間，更能真正理解并實(shí)時(shí)交互物理世界。

在 50 億美元估值神話的背后，這一空間智能的最新高地正被國內(nèi)創(chuàng)業(yè)公司攻克并推向產(chǎn)業(yè)縱深。近日，影溯（InSpatio）正式發(fā)布并開源了其實(shí)時(shí)幀生成模型InSpatio-WorldFM，一個(gè)實(shí)時(shí)交互的 3D 世界模型。這標(biāo)志著中國團(tuán)隊(duì)在空間智能底層技術(shù)上取得了奠基性突破，而且以開放的姿態(tài)，正成為推動 AI 從虛擬屏幕走向物理現(xiàn)實(shí)的關(guān)鍵破局者。

• InSpatio-WorldFM 項(xiàng)目主頁：https://inspatio.github.io/worldfm/
• 模型 GitHub：https://github.com/inspatio/worldfm
• 模型在線體驗(yàn)：http://www.inspatio.com/worldfm

InSpatio-WorldFM 的發(fā)布和開源不僅是對全球頂尖技術(shù)路線的快速響應(yīng)，更是中國團(tuán)隊(duì)在空間智能領(lǐng)域的獨(dú)立思考。由浙江大學(xué)計(jì)算機(jī)輔助設(shè)計(jì)與圖形系統(tǒng)全國重點(diǎn)實(shí)驗(yàn)室教授、國家杰青章國鋒博士領(lǐng)銜，影溯憑借在 3D 視覺和空間計(jì)算領(lǐng)域深耕 20 多年的底蘊(yùn)，跳出了單純依賴極稀缺「原生 3D 數(shù)據(jù)」的傳統(tǒng)路徑，通過獨(dú)創(chuàng)的「數(shù)據(jù)升維」與「幾何約束」策略，成功激活了互聯(lián)網(wǎng)海量 2D 存量視頻數(shù)據(jù)中蘊(yùn)含的 3D 空間知識。

這一技術(shù)路徑精準(zhǔn)破解了困擾行業(yè)已久的「高質(zhì)量、規(guī)模化 3D 數(shù)據(jù)貧礦」局限，將海量 2D 存量數(shù)據(jù)高效轉(zhuǎn)化為驅(qū)動 3D 世界模型的高維原動力。

InSpatio-WorldFM 能夠高效地進(jìn)行多視角一致的空間推理，并支持實(shí)時(shí)交互式探索。它的效果是這樣的：

該項(xiàng)目發(fā)布后迅速獲得硅谷多位 AI 領(lǐng)域意見領(lǐng)袖轉(zhuǎn)發(fā)關(guān)注，在線 Demo 訪問量短時(shí)間內(nèi)激增，一度出現(xiàn)排隊(duì)和訪問擁堵。

得益于 3D 的模型機(jī)制，其生成的虛擬世界有高度的一致性，模型生成的場景在空間幾何與光照與物理規(guī)律上非常穩(wěn)定，無限時(shí)長推理不會出現(xiàn)遺忘和衰退。

值得關(guān)注的是，相比以往的世界模型，InSpatio-WorldFM 對于算力的需求很低。影溯的目標(biāo)是讓實(shí)時(shí)的空間推理能在消費(fèi)級 GPU 上實(shí)現(xiàn)，將空間智能從數(shù)據(jù)中心擴(kuò)展到邊緣設(shè)備 —— 甚至在單塊 RTX 4090 GPU 上就能實(shí)現(xiàn)實(shí)時(shí)的推理，這就一下子打開了商業(yè)價(jià)值的想象空間。

生成的空間還支持整體一致性編輯 —— 不再是對單個(gè)物體或局部區(qū)域的零散修改，而是在保持幾何結(jié)構(gòu)、光照關(guān)系、材質(zhì)屬性與物理邏輯全局一致的前提下，進(jìn)行跨視角、跨區(qū)域的統(tǒng)一調(diào)整。

比如從這樣：

到這樣：

無論是整體風(fēng)格遷移、空間布局重構(gòu)，光照材質(zhì)，系統(tǒng)都能確保改動在所有視角與后續(xù)生成結(jié)果中保持一致，避免「前后打架」或「視角錯(cuò)位」。

換句話說，它編輯的不是一幀圖像，而是一個(gè)可控、連貫、具物理約束的三維世界本體

技術(shù)路線

維度突破，構(gòu)建原生 3D

目前，不論是科技巨頭還是創(chuàng)業(yè)公司都在加速發(fā)力世界模型。

圖靈獎得主 Yann LeCun 曾多次表示，僅靠預(yù)測下一個(gè) token 的生成式模型無法真正做到理解現(xiàn)實(shí)世界，世界模型將會是 AI 下一次技術(shù)突破的大方向。然而當(dāng)前絕大多數(shù)主流的世界模型、圖像生成模型（如谷歌的 Genie 3、OpenAI 的 Sora）進(jìn)行 2D 像素概率預(yù)測的本質(zhì)，并不符合技術(shù)前進(jìn)的需要。

目前絕大多數(shù)的世界模型，如谷歌的 Genie3、英偉達(dá) Cosmos、Runway GWM-1、Lingbo-World、PixVerse R1 等，本質(zhì)上都是基于 2D 的視頻生成模型，其每個(gè)時(shí)刻的空間狀態(tài)都是由平面的 2D 圖像進(jìn)行表達(dá)。但物理世界是 3D 的空間，AI 要和物理世界交互，空間狀態(tài)的表達(dá)也應(yīng)該是 3D 的。

影溯所走的技術(shù)路線在于善用「第一性原理」，不再執(zhí)著于逐像素地生成畫面，而是構(gòu)建原生的 3D 世界。

這意味著需要走一條更具挑戰(zhàn)的路，讓模型學(xué)會對真實(shí)世界傳感器數(shù)據(jù)進(jìn)行抽象建模，過濾掉不可預(yù)測的噪聲信息，并在更高層次的表征空間中進(jìn)行預(yù)測與推理。

對此，影溯沒有選擇從零開始學(xué)習(xí)物理常識，而是將互聯(lián)網(wǎng)海量 2D 存量視頻數(shù)據(jù)中蘊(yùn)含的 3D 空間知識成功激活。通過精確控制，他們反向抽取出其中蘊(yùn)含的三維幾何與物理規(guī)律。在其生成的 3D 世界中，人或 AI 也可以自由地行動，不必?fù)?dān)心會出現(xiàn)不可靠的細(xì)節(jié)。

正是基于獨(dú)特的 3D 技術(shù)路線，影溯的世界模型可以有效解決目前 AIGC 工具「盲盒抽卡」的痛點(diǎn)，不僅能在實(shí)時(shí)生成的場景自由漫游，而且支持將視頻中的動態(tài)前景無縫轉(zhuǎn)移到另一個(gè)空間環(huán)境中，并且能嚴(yán)格保證轉(zhuǎn)移后的前景與新背景在空間幾何、光照、物理規(guī)則上的高度一致性。 一次生成，精準(zhǔn)可控，徹底告別反復(fù)重試的算力浪費(fèi)。

可以看出，影溯的模型在背景變換與運(yùn)鏡控制上，展現(xiàn)出卓越的像素級前景鎖定能力和精準(zhǔn)運(yùn)鏡控制，其主體一致性與運(yùn)鏡穩(wěn)定性已超越當(dāng)前主流的世界模型與視頻生成模型。尤為突出的是，即使背景完全變換、光線隨新環(huán)境自然適配，前景主體的光照依然能與新背景保持高度一致，細(xì)節(jié)與結(jié)構(gòu)毫發(fā)無傷、紋絲不動。

影溯團(tuán)隊(duì)透露，其世界模型的訓(xùn)練僅僅動用了 100 張卡的算力規(guī)模，遠(yuǎn)低于現(xiàn)在視頻模型訓(xùn)練所需要的算力。當(dāng)大廠還在用萬張顯卡暴力猜測「下一個(gè) 2D 像素是什么」時(shí)，影溯直接在底層構(gòu)建了物理引擎的 3D 骨架。計(jì)算物理場，遠(yuǎn)比窮舉像素更省算力。

具體來說，影溯這次開源的 InSpatio-WorldFM 具備三大特性：

突破 2D 限制：賦予空間智能一致性

在嘗試當(dāng)前的先進(jìn) AI 視頻生成工具時(shí)，你一定遇到過這樣的尷尬：鏡頭一轉(zhuǎn)，原本的人物變形了，背景里的建筑憑空消失或發(fā)生了扭曲。這種現(xiàn)象的本質(zhì)，是因?yàn)榛?2D 的 AI 模型只是在進(jìn)行像素級的二維變化預(yù)測，它們并不懂什么是真正的物理世界。

InSpatio-WorldFM 拋棄了純 2D 的學(xué)習(xí)路徑，將「三維多視圖一致性」作為內(nèi)容生成的核心約束機(jī)制。無論是在預(yù)計(jì)算階段還是實(shí)時(shí)推理中，模型都被強(qiáng)制要求理解并保持 3D 空間結(jié)構(gòu)的連貫性。

多視一致的生成模型

于是在 InSpatio-WorldFM 生成的世界里，物體不僅具備真實(shí)的物理體積，而且不會隨時(shí)間發(fā)生漂移或形變。它賦予了空間智能最稀缺的品質(zhì) —— 物理級的持久一致性。

InSpatio-WorldFM 在構(gòu)建 3D 世界時(shí)，可以保持生成的場景在時(shí)空上的持久一致性，無論在這個(gè)虛擬空間里轉(zhuǎn)多久，場景都不會像其他 AI 生成的視頻那樣崩壞變形，這對影視制作、游戲資產(chǎn)和具身智能來說是殺手級特性，證明了模型不是在「畫畫」，而是在「計(jì)算物理場」。由此生成的虛擬世界不再只是炫酷的視頻，而是直接為未來的機(jī)器人生準(zhǔn)備的數(shù)以萬計(jì)的虛擬訓(xùn)練場。

這種 3D 機(jī)制突破了 2D 視頻模型的極限時(shí)空記憶，解決了世界模型一直以來頭疼的「長時(shí)序遺忘」和「空間幾何崩塌」問題。

實(shí)現(xiàn)高效率

InSpatio-WorldFM 構(gòu)建了輕量化與高效率的框架。通過基于幀的架構(gòu)，輔以模型蒸餾和推理優(yōu)化技術(shù)，影溯成功地壓縮了龐大的空間計(jì)算需求。影溯的目標(biāo)是：在消費(fèi)級 GPU 上實(shí)現(xiàn)實(shí)時(shí)的空間推理。這不僅能讓實(shí)時(shí)交互成為可能，更意味著空間智能將徹底走出數(shù)據(jù)中心，真正被部署到從機(jī)器人到 XR 眼鏡的各類端側(cè)設(shè)備中。

高效率低延遲的實(shí)時(shí)生成

顯式錨點(diǎn) + 隱式記憶：實(shí)現(xiàn)空間記憶

空間智能的終極考驗(yàn)在于「記憶」：如果一個(gè)機(jī)器人在轉(zhuǎn)頭的瞬間，就忘記了身后倉庫的布局和貨架的位置，那么高階規(guī)劃和自主導(dǎo)航就無從談起。為了解決這一痛點(diǎn)，InSpatio-WorldFM 創(chuàng)新地采用了一種「顯式錨點(diǎn) + 隱式記憶」混合架構(gòu)設(shè)計(jì)

在該模型中，團(tuán)隊(duì)利用前沿的前饋式重建技術(shù)生成顯式的物理空間錨點(diǎn)，為模型提供穩(wěn)固的 3D 結(jié)構(gòu)支撐。與此同時(shí)，模型會將參考幀作為生成模型內(nèi)部的隱式記憶。

這就像是讓 AI 擁有了「三維坐標(biāo)體系」，不論鏡頭怎么轉(zhuǎn)，生成場景的內(nèi)容都不會發(fā)生漂移和變化。

這種設(shè)計(jì)讓 AI 不僅能像神經(jīng)元一樣靈活思考，還能擁有幾何級別的嚴(yán)密記憶，確保了 AI 即使在跨越復(fù)雜視點(diǎn)、經(jīng)歷長時(shí)間推移后，依然能保持穩(wěn)定、高效且可擴(kuò)展的空間推理能力。

在以往，視頻模型由于空間記憶限制，隨著時(shí)長延長，復(fù)雜度指數(shù)級上升，因此 Genie3 等世界模型能夠生成的時(shí)長有限。InSpatio-WorldFM 理論上生成的時(shí)長則是無限的。

除此以外，在訓(xùn)練數(shù)據(jù)上，影溯團(tuán)隊(duì)利用自身在 SLAM（同步定位與建圖）、NeRF（神經(jīng)輻射場）和 3DGS 等領(lǐng)域的技術(shù)積累，能夠極低成本地合成海量高質(zhì)量的 3D 訓(xùn)練數(shù)據(jù)，從而打破了 3D 訓(xùn)練數(shù)據(jù)極度匱乏的行業(yè)瓶頸。

正是得益于這些架構(gòu)的創(chuàng)新與底層數(shù)據(jù)的積累，從目前的一系列 demo 中可以看出，InSpatio-WorldFM 呈現(xiàn)出了很強(qiáng)的「工程可用性」。

這種創(chuàng)新與實(shí)用的并重，讓我們不得不把目光轉(zhuǎn)向影溯的核心團(tuán)隊(duì)。

頂尖團(tuán)隊(duì)下場創(chuàng)業(yè)

等了 20 年的「3D 時(shí)刻」

訓(xùn)練 3D 世界模型是一個(gè)極具挑戰(zhàn)的任務(wù)，互聯(lián)網(wǎng)上存在海量的 2D 視頻數(shù)據(jù)，但 3D 數(shù)據(jù)極其匱乏，另一方面，精通 3D 視覺與圖形學(xué)的人才長期以來極為稀缺。

在通往空間智能的 AI 終極賽道上，影溯選擇硬核的原生 3D 路線，其底氣源自核心團(tuán)隊(duì)在 3D 領(lǐng)域 20 多年的技術(shù)積淀。

影溯的班底堪稱國內(nèi)空間計(jì)算領(lǐng)域「夢之隊(duì)」，由浙江大學(xué)計(jì)算機(jī)輔助設(shè)計(jì)與圖形系統(tǒng)全國重點(diǎn)實(shí)驗(yàn)室（圖形學(xué)領(lǐng)域全球排名第三，僅次于斯坦福和 MIT）與原商湯科技 3D 視覺與混合現(xiàn)實(shí)團(tuán)隊(duì)的頂尖專家組成：

其中創(chuàng)始人章國鋒為浙江大學(xué)求是特聘教授、國家杰青，前商湯數(shù)字空間事業(yè)群首席科學(xué)家。作為國內(nèi)空間計(jì)算領(lǐng)域的領(lǐng)軍人物，他在 SLAM（同步定位與建圖）和 3D 重建領(lǐng)域深耕已超過 20 年，是國內(nèi)空間計(jì)算領(lǐng)域公認(rèn)的引領(lǐng)者。

聯(lián)合創(chuàng)始人兼 CTO 劉浩敏是前商湯研究總監(jiān)、浙大博士。他的一個(gè)重要成就是：曾主導(dǎo)實(shí)現(xiàn)了業(yè)內(nèi)首個(gè)手機(jī)端無標(biāo)志 SLAM 商業(yè)系統(tǒng)，比蘋果的 ARKit 和谷歌的 ARCore 早了整整 3 年。

隨著生成式 AI 的爆發(fā)，3D 空間的重建與生成開始合流。影溯團(tuán)隊(duì)敏銳地捕捉到了這個(gè)歷史性的「3D 時(shí)刻」，于 2025 年 7 月下場創(chuàng)業(yè)，致力于打造屬于中國的 3D 世界模型。

在這場世界模型的狂歡中，影溯的目標(biāo)是讓 AI 真正理解 3D 物理世界中的空間幾何、物理規(guī)則和因果關(guān)系，利用 3D 視覺和圖形學(xué)的底座，來實(shí)現(xiàn) AI 的升維，通向真正的世界模型。

基于團(tuán)隊(duì) 20 多年的空間計(jì)算 / 智能的技術(shù)積累，影溯已經(jīng)構(gòu)建了一個(gè)三維場景重建與生成平臺，具備大尺度真實(shí)場景的快速掃描與重建生成能力，提供了從數(shù)據(jù)采集、場景生成、場景編輯到應(yīng)用開發(fā)的完整工具鏈，可通過無人機(jī)、全景相機(jī)甚至手機(jī)拍攝實(shí)現(xiàn)低成本純視覺三維重建和生成。

影溯構(gòu)建了一套行業(yè)內(nèi)獨(dú)有的「3D 數(shù)據(jù)升維引擎」：不盲目耗費(fèi)海量算力，而是從現(xiàn)有的海量視頻抽取 3D 知識，用成熟的幾何約束工具鏈打破 3D 數(shù)據(jù)荒。這是大廠短期內(nèi)拿算力也砸不出來的能力，也是影溯的核心商業(yè)壁壘。

長期 3D 視覺和圖形學(xué)算法的積累、成熟的工程化工具鏈，構(gòu)成了影溯難以被輕易復(fù)制的技術(shù)護(hù)城河。他們用著相對少的資源，撬動了空間智能的未來。

結(jié)語

與 World Labs 選擇閉源的商業(yè)路徑不同，影溯從一開始便確立了開源共建的核心戰(zhàn)略，認(rèn)為空間智能的未來不應(yīng)由單一企業(yè)定義，而應(yīng)由全球開發(fā)者共同創(chuàng)造。

InSpatio-WorldFM 推出之后，為了支持全球 AI 社區(qū)的共建，影溯團(tuán)隊(duì)下一步計(jì)劃提供更豐富的技術(shù)細(xì)節(jié)。同時(shí)，擴(kuò)展版模型，以及支持與動態(tài)世界實(shí)時(shí)交互的體驗(yàn)應(yīng)用也將在不久后推出。

隨著 InSpatio-WorldFM 等開源空間智能模型的推出，生成模型、具身智能體和現(xiàn)實(shí)世界的機(jī)器人現(xiàn)在站在了全新的起跑線上。

AI 的下一個(gè)故事，才剛剛開始。

文中視頻鏈接：https://mp.weixin.qq.com/s/T3F7-xFx72KmZ9nkhdr2-w