當地時間10月16日,李飛飛團隊World Labs重磅發布全新實時生成式世界模型——RTFM(Real-Time Frame Model,實時幀模型),該模型僅需單張H100 GPU,就能從輸入的2D圖像實時生成持久且3D一致的虛擬世界,讓用戶僅憑一張圖片就能創造完整的3D場景。
RTFM模型采用創新的"學習型渲染器"設計,不依賴傳統3D建模,而是通過端到端學習大規模視頻數據,直接從輸入圖像生成同一場景的新視角圖像。模型不僅能模擬三維幾何,還學會了反射、陰影、鏡頭光暈等復雜物理效果。
更獨特的是其"空間記憶"機制,通過為每幀圖像賦予3D空間中的位姿,使虛擬世界具備真正持久性 - 即使視線移開,場景也不會消失。該技術讓RTFM能夠在大型場景中保持無限時長的交互體驗。
目前該模型已正式開放,任何人都可通過官網rtfm.worldlabs.ai體驗這款"世界模擬器"。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.