CVPR2026滿分論文：Proxy-GS為結構化3D高斯濺射引入統一遮擋先驗

在城市街景場景中，Proxy-GS在保持細粒度視覺細節的同時，實現了穩定的實時渲染。我們的方法顯著減少了需要解碼的錨點（anchors）數量，從而在內存效率和渲染速度兩方面都帶來了顯著提升。右上角的插圖展示了所有錨點的俯視可視化，其中以紅色高亮的錨點表示當前幀中被解碼器使用的錨點。

CVPR2026滿分論文：Proxy-GS為結構化 3D 高斯濺射引入統一遮擋先驗

• 論文鏈接：
• https://arxiv.org/abs/2509.24421
• 項目主頁：
• https://visionary-laboratory.github.io/Proxy-GS/

上海交通大學鐘志航團隊聯合上海人工智能實驗室、西北工業大學、四川大學等高校在 CVPR 2026 上提出Proxy-GS（Proxy-GS: Unified Occlusion Priors for Training and Inference in Structured 3D Gaussian Splatting），面向基于 MLP 的結構化 3D 高斯濺射（3DGS），用輕量級代理網格（proxy）把遮擋關系變成可用的可見性信號：在推理階段快速生成遮擋深度圖并剔除被遮擋的錨點以加速渲染；在訓練階段讓增密沿代理表面生長，減少遮擋區的無效生長，并通過偏移使從錨點解碼出的高斯更好地貼合代理幾何。在遮擋密集的城市街景（如 MatrixCity Streets）中，Proxy-GS 在保持甚至提升畫質的同時，實現了2.5×以上的渲染加速。

背景與動機：

為什么結構化 3DGS 會越跑越慢？

3D 高斯濺射（3DGS）在高質量新視角合成上已取得顯著進展，但原始 3DGS 往往產生大量冗余高斯，且忽視場景幾何結構。為此，Scaffold-GS、Octree-GS 等基于 MLP 的結構化方法將錨點（anchor）放在體素或八叉樹節點上，用 MLP 根據視角動態解碼高斯屬性，在提升細節與魯棒性的同時，也帶來了可觀的解碼開銷。在大規模城市場景中，錨點與高斯數量急劇增加，解碼與渲染成本成為瓶頸。

現有工作通過剪枝或 LOD（Level of Detail）來減少冗余，但剪枝易損傷畫質，LOD 主要針對“遠處少畫”，對被遮擋區域的無效計算關注不足。真實場景——尤其是城市街道、多房間室內——遮擋密集，若錨點選擇不顯式考慮遮擋，大量解碼會浪費在被遮擋的錨點上。論文通過可視化發現：當前幀實際參與解碼的錨點與“直覺上需要”的錨點之間存在明顯錯位，大量錨點落在嚴重遮擋區域，既增加解碼負擔又不貢獻最終畫面。因此，引入遮擋感知的錨點篩選有望顯著降低計算量。

此外，消費級 GPU 的硬件光柵化能力很強，若能用其快速得到遮擋深度，再與現有視錐剔除等策略結合，即可在幾乎不增加時延的前提下實現遮擋剔除。Proxy-GS 即圍繞“輕量 proxy + 硬件光柵化 + 訓練/推理一致使用遮擋先驗”這一思路展開。

Figure 1. 總覽：冗余錨點、剔除效果，以及 PSNR/FPS 對比。

如上圖所示，Proxy-GS在現有 MLP-based LOD 框架（如 Octree-GS）之上，通過遮擋感知的錨點選擇，既減少了解碼量，又改善了畫質，在遮擋豐富的場景中可實現約3×的渲染加速。

方法概覽：

Proxy 在訓練與推理中的雙重角色

方法核心是構建一個輕量代理網格，使其能在1000×1000 分辨率下于 1ms 內得到遮擋深度圖，并服務于兩件事：推理時的錨點/高斯剔除與訓練時的 proxy-guided 增密。

Figure 2. Proxy-GS 框架：推理期遮擋剔除 + 訓練期 proxy-guided 增密。

代理網格的獲取：室外大場景常用 COLMAP 等得到稠密點云；室內紋理弱、SfM 易失敗時，文中采用 MapAnything 等大模型，以 COLMAP 位姿與 RGB 圖像為輸入得到稠密點云并轉為網格。對網格做表面簡化，只保留較粗的幾何結構，用于表達遮擋關系即可，無需精細幾何細節。

推理階段：對 proxy 做僅深度的硬件光柵化，得到當前視角下的深度圖；將錨點投影到像平面，與深度圖做深度比較，落在 proxy 之后的錨點視為被遮擋并剔除，再與原有視錐剔除等在單一 CUDA kernel 中融合，避免 GPU-CPU-GPU 往返。深度圖常駐 GPU，并施加小安全裕度 γ 以兼顧數值與幾何誤差。為加速，還對網格做細粒度分塊并采用層次化深度（Hi-Z）剔除、Early-Z 等，使高分辨率深度生成耗時控制在約 1ms 內。

訓練階段：若僅在推理時做遮擋剔除而訓練時仍對所有錨點一視同仁，會導致“訓練時見過的錨點—高斯綁定”與“測試時被剔除的錨點”不一致，畫質下降。因此 Proxy-GS 在訓練時同樣使用 proxy 深度做遮擋剔除，使訓練與推理的可見性一致。此外，原增密策略在梯度大的地方生長新錨點，容易在 proxy 后方長出無效錨點。文中提出proxy-guided densification：在渲染誤差持續較大的圖像塊上，取塊內像素對應的 proxy 深度，反投影到 3D 得到新錨點位置，使新錨點落在 proxy 表面附近；并用 proxy-grid 控制每個網格格內錨點數量，避免 3D 上的過密重復。這樣，增密更貼合表面幾何，遮擋區無效生長減少，畫質與速度更平衡。

推理耗時從哪里省下來？

論文在 MatrixCity上對比了 Proxy-GS 與 Octree-GS 各推理環節的耗時占比。Proxy 的深度渲染僅約 1ms，幾乎可忽略；錨點篩選因待處理錨點變少而更快；節省主要來自渲染階段：更少的錨點意味著更少的 MLP 解碼和更少的高斯光柵化，從而帶來顯著的 FPS 提升。

Figure 3. 各推理環節時間占比：Proxy-GS 的深度渲染約 1ms，主要節省來自更少的解碼與渲染。

實驗結果

數據集與指標：在大型城市場景 MatrixCity、以及不同遮擋程度與尺度的真實場景（Small City 街景、Berlin、CUHK-LOWER 航拍、Zip-NeRF 室內）上評估。指標包括 PSNR、SSIM、LPIPS 和 FPS。

MatrixCity 街道：按官方劃分將 Small City 的 8477 張街景分為 5 個 block，在 Block 1&2、Block 3&4、Block 5 上匯報平均指標。Proxy-GS 在各 block 上均在畫質（PSNR/SSIM/LPIPS）和 FPS 上優于或持平 3DGS、Scaffold-GS、Hierarchical-GS、Octree-GS 等基線。尤其在 Block 5，Octree-GS 約 48 FPS，Proxy-GS 達到151 FPS，同時 PSNR 更高。

Table 1. MatrixCity Street：Proxy-GS 與 3DGS / Scaffold-GS / Hierarchical-GS / Octree-GS 的定量對比。

跨數據集泛化：在 Small City（遮擋較強）、Berlin、CUHK-LOWER（遮擋相對較弱、尺度較小）上，Proxy-GS 均取得最佳或次佳的畫質與速度。遮擋越強的街景（如 Small City），加速與畫質收益越明顯；遮擋較弱或場景較小時仍有穩定收益，且未帶來額外負擔。

Table 2. 跨數據集：不同遮擋強度與尺度的場景。

定性對比：在建筑物窗戶、紋理、路面結構等細節上，Proxy-GS 相比基線能更好地保持清晰度與結構一致性。

Figure 4. 定性對比：窗戶、紋理、路面等細節。

訓練與推理策略的消融：在 Block 5 上對比四種設置。ID1：Octree-GS 原流程（baseline）。ID2：僅在推理時做 proxy 遮擋剔除，訓練不變；FPS 提升超過 3×，但畫質明顯下降，因訓練時的錨點—高斯綁定與推理時可見性不一致。ID3：訓練與推理均使用 proxy 遮擋剔除（遮擋一致性）；畫質超過 baseline，FPS 較 ID2 略降（因更多錨點在訓練中生長后才被剔除）。ID4：在 ID3 基礎上加入 proxy-guided densification；畫質與速度達到最佳平衡。說明僅推理剔除不夠，訓練階段也需與遮擋先驗一致，并配合 proxy 引導的增密。

Table 3. 不同訓練與推理策略的消融（Block 5）。

對 Proxy 質量的依賴：通過兩類消融衡量對 proxy 精度的敏感度。（1）網格分辨率：從較細（約 108MB）到較粗（約 824KB），PSNR 變化不大。城市場景以建筑立面、道路等大面為主，較粗的 proxy 仍能保留遮擋結構，故分辨率影響有限。（2）頂點噪聲：對網格頂點施加隨機擾動后，遮擋邊界被破壞，PSNR 明顯下降；噪聲越大，偽結構越多、畫面越糊。

結論是：Proxy 可以粗，但不能亂——只要遮擋結構正確，分辨率的降低影響有限；而幾何/頂點噪聲會破壞遮擋邊界，對畫質影響更大。另外，由于錨點與解碼高斯之間存在固有偏移，在小擾動（如 5% 以內）下方法仍有一定魯棒性。這種抗擾動性主要是來源于剔除anchor后，Gaussian本身還會相對于anchor學習一個offsets，這也是為什么需要Proxy-GS的訓練階段，這樣每個不完美或者有瑕疵的proxy都會通過訓練階段，得到最適合他的Gaussian分布。?下圖進一步展示了不同分辨率與噪聲設置下的 proxy 網格可視化，以及對應的 PSNR 變化曲線。

Figure 5. 不同分辨率與不同頂點噪聲下的 proxy 網格可視化：分辨率降低時整體遮擋結構基本保持；噪聲增大時遮擋邊界被破壞，出現偽結構。

Figure 6. PSNR 隨 proxy 分辨率和噪聲變化的曲線：分辨率影響有限，而噪聲增大帶來明顯的 PSNR 下降。

與其它加速方案的組合：Proxy-GS 主要減少參與渲染的錨點與高斯數量，因此可與 FlashGS、硬件光柵化 3DGS 等原有 3DGS 渲染加速技術疊加。在 Block 1 上的實驗表明，在默認 3DGS 渲染器基礎上替換為 FlashGS 或硬件 3DGS 渲染器，可進一步提速；使用硬件 3DGS 時 FPS 提升明顯，畫質略有 trade-off。說明該方法與現有渲染管線兼容，便于落地。

結論

Proxy-GS 為基于 MLP 的結構化 3D 高斯濺射提供了統一的遮擋先驗：在推理端通過輕量 proxy 與硬件光柵化在約 1ms 內得到遮擋深度并剔除被遮擋錨點；在訓練端通過遮擋一致的渲染與 proxy-guided 增密，使錨點生長更貼合表面、減少無效計算。在遮擋豐富的場景中，Proxy-GS在畫質與速度上均優于現有方法，可實現約2.5×的渲染加速，提升了 MLP-based 3DGS 在 VR/AR 等應用中的實用性，為高效 3D 場景表示建立了新的標桿。