上交大提出LatentUM：UnifiedModel真正戰場在視覺推理與世界模型

本文作者團隊來自上海交通大學 DENG Lab 與清華大學、加州大學圣地亞哥分校（UCSD）。該研究由博士生金佳純、準博士生周澤同共同完成，指導教師為鄧志杰、朱軍、劉鵬飛、張昊、楊嘯老師。DENG Lab 隸屬上海交通大學，致力于高效、跨模態生成模型的研究。

過去一段時間，生成理解統一模型（Unified Model）經常被理解成一種「既能看懂圖、又能生成圖」的多模態通用系統。

但如果統一模型的價值只停留在「會看會畫」，那它和把 VLM、T2I 簡單拼在一起并沒有本質區別。真正更值得追問的問題是：模型能不能把自己生成出的視覺內容直接納入推理閉環，讓圖像不只是輸出結果，而是推理、規劃乃至世界建模過程中的中間思維狀態？

近期，上海交通大學 DENG Lab 提出的 LatentUM嘗試去回答上述問題。

從結果上看，這條路線確實帶來了實際性能收益：LatentUM 在 GenEval 上最高達到 0.92，在 Visual Spatial Planning 任務上準確率最高達到 0.99，在導航世界模型任務上，LatentUM 在 NWM 評測上取得 ATE 1.34、RPE 0.34，超過近期 Transfusion-RAE 等統一世界模型基線。

這說明，共享語義 latent space 并不只是一個更「統一」的建模方案，它確實有機會把視覺生成變成推理與建模過程中的有效中間變量。

• 論文地址：https://arxiv.org/pdf/2604.02097
• 代碼地址：https://github.com/SJTU-DENG-Lab/LatentUM
• 模型倉庫：https://huggingface.co/collections/SJTU-DENG-Lab/latentum

重新思考 Unified Model 的價值與存在的問題

現有多數生成理解統一模型 (Unified Model) 的目標，仍然停留在打造一個「能看又能畫」的多模態六邊形戰士，但它們往往在理解和生成兩端都不及最好的 specific model。

LatentUM 想推動大家重新思考這個方向的目標函數：Unified Model 的真正潛力，并不只是把視覺理解和視覺生成裝進同一個框架里，而是在模態交錯生成中把生成出的視覺內容真正納入 reasoning loop，形成 cross-modal chain-of-thought，進一步服務于復雜視覺推理、規劃乃至世界建模。

換句話說，Unified Model 最值得做的事，是讓模型在推理過程中真的把圖像當作中間思維載體來使用，而不是把「會看會畫」本身當作終點。

圖 1：LatentUM 在帶有自我反思的文生圖任務、視覺空間規劃任務、世界建模任務上都超越了基線模型。

基于這一觀察，LatentUM 給出的核心思路是：不再讓視覺生成服務于像素空間，而是讓模型直接生成與語言共享語義空間的離散 visual semantic tokens。這樣一來，模型生成出來的視覺內容，就可以被模型自己直接讀取、繼續推理，而不必再經過「像素中轉」。

換句話說，LatentUM 想實現的，不是一個簡單把理解和生成拼在一起的 Unified Model，而是一個真正基于 shared semantic latent space 運作的 latent-space unified model。

當前大部分 Unified Model 通常把理解和生成建立在兩套不同的視覺表示上：理解側使用與語言對齊的語義特征，生成側使用面向像素重建的 VAE 特征。結果就是，模型一旦想基于自己生成的圖繼續思考，就不得不先把生成特征解碼成像素，再重新編碼回理解特征。這個過程不僅低效，也會引入額外的 codec bias，造成跨模態錯位，限制圖文交錯推理能力。

也正因為如此，很多現有統一模型雖然「既能看又能畫」，但在真正需要視覺中間態參與推理的任務上，并沒有把 unified 的優勢發揮出來。

LatentUM 的模型設計

圖 2：LatentUM 架構的三個關鍵設計。

圍繞這一目標，LatentUM 主要包含三個關鍵設計。

首先是 Model Behavior Aligned Quantization（MBAQ）。由于連續語義特征維度高，難以直接進行生成建模。LatentUM 選擇先將其量化為可自回歸預測的離散 visual semantic tokens。傳統視覺離散化方法通常追求還原像素或原始特征，但對 Unified Model 來說，更關鍵的是量化后的 token 能否繼續支撐視覺理解與語言推理。

因此，MBAQ 不是優化重建誤差，而是讓量化后的視覺特征盡可能保留原始視覺特征所對應的 VLM 的理解行為。

這意味著量化器會優先保留那些真正影響視覺理解結果的語義信息，主動舍棄對預測貢獻有限的低層像素細節。相比關注特征還原，MBAQ 更關注量化后的 token 是否仍然能夠支持原有的視覺問答與語言推理能力。

這對于 Unified Model 尤其關鍵，因為只有當生成出的 visual token 仍然能夠被模型自己穩定理解時，它們才能真正作為中間思維狀態參與后續的跨模態推理。

第二是 Mixture-of-Modal Experts（MoME）。統一建模并不意味著所有模態都必須完全走同一套參數路徑。為降低視覺理解與視覺生成之間的訓練干擾，LatentUM 將理解和生成分成兩條并行分支，它們共享 self-attention，但在其余部分適度解耦。

這樣既保留圖文之間的信息流動，也減少了不同目標之間的負遷移。雖然生成理解兩套參數解耦，但模型生成的視覺 token 可以重新被理解分支直接讀取并緩存進上下文，從而繼續參與后續推理。

第三是 Decoupled Pixel Decoder。雖然 LatentUM 的離散語義特征不再圍繞像素重建來訓練，但作者們發現離散語義特征中仍然保有大部分的像素信息，可以通過一個獨立的 diffusion decoder 將其恢復成像素。

這樣一來，像素空間在 LatentUM 中不再是內部推理的必經橋梁，而只是一個按需調用的可視化接口，從而避免模型為了像素保真而犧牲統一語義空間本身的表達能力。

實驗結果

基于上述設計，論文實現了 LatentUM-Base。模型以 InternVL3.5-4B 為初始化底座，直接繼承其成熟的視覺理解能力，并在圖文數據上進行訓練來補足視覺生成分支，總訓練成本大約是 6000 GPU hours。

實驗結果首先驗證了這種 shared semantic latent space 不會顯著損害視覺理解能力。論文在多項理解基準上評估 LatentUM-Base，發現當輸入圖像被量化成離散語義 token 后，視覺理解的能力依舊在線。

這說明MBAQ 學到的 token 并不是簡單壓縮結果，而是真的保留了足夠支撐視覺理解的語義結構。

圖 3：LatentUM-Base 的視覺理解能力與基線方法的對比。

在視覺生成方面，得益于視覺 token 的語義對齊，LatentUM-Base 同樣展現出了很強的 instruction-following 能力。在 GenEval 上，LatentUM-Base 達到 0.85，已經超過大多數已有 Unified Model，而且這一結果是在相對有限的數據規模下取得的。

這說明共享語義空間讓模型更容易把文本條件中的語義約束真正落實到視覺 token 上。

圖 4：LatentUM-Base 的文生圖樣例展示。

除了基本的 text-to-image generation，LatentUM 還能利用自己的理解能力反過來提升生成。

論文在 post-training 階段探索了 generate-then-reflect 的范式：先生成，再讓模型基于自己的理解分支對結果做「自檢」，并通過強化學習進一步優化。僅基于自我理解 reward，LatentUM-Vis-Gen 在 GenEval 上從 0.85 提升到 0.87；如果進一步使用外部 pixel-level reward，最終可以達到 0.92，在統一模型中取得新的最好結果。

在更強調語義判斷穩健性的 GenEval2 上，LatentUM 也顯著領先已有 Unified Model。

圖 5：LatentUM 在 GenEval bench 上超越了 Unified Model 的基線。

為了驗證共享語義 latent space 是否真的能支撐復雜的圖文交錯推理，論文進一步在 Visual Spatial Planning 任務上做了系統評測。

這個任務要求模型在迷宮環境中進行規劃，不僅要讀懂當前視覺狀態，還要在推理過程中基于采取的 action 持續更新下一個未來狀態。

結果上，LatentUM-Vis-Plan 在粗粒度中間狀態的設定下平均準確率達到 0.85，在細粒度中間狀態的逐步交錯推理的設定下達到 0.99，顯著超過 ThinkMorph 等需要經過像素空間中轉的方法。

這說明，如果視覺內容本身就處在統一語義空間里，那么「邊想邊看、邊看邊想」并不是概念展示，而是可以帶來性能增益的實際能力。

LatentUM 在 VSP 任務上的 demo。

圖 6：LatentUM 在 Visual Spatial Planning bench 上大幅超越了各類跨模態推理基線。

最后，論文還進一步探索了 LatentUM 在 world modeling 中的潛力。

在導航世界模型設定下，LatentUM-WM 在 NWM 評測上取得 ATE 1.34、RPE 0.34，超過了近期 Transfusion-RAE 這類統一世界模型基線。

這說明shared semantic latent space 也許不僅是連接理解和生成的一種方法，也可能是連接推理與世界建模的一條自然路徑。

LatentUM 在 navigation world modeling 任務上的 demo。

從更大的角度看，LatentUM 想推動大家重新思考 Unified Model 的目標。它不應該只是把「看」和「畫」放進同一個模型里，而應該成為一個能夠在共享語義空間中進行交錯生成、反思、規劃與預測的通用多模態系統。

對 Unified Model 來說，真正重要的，也許從來不是「既會看又會畫」，而是能不能在共享語義空間中用各種模態持續地生成、推理。