337p人体粉嫩胞高清图片,97人妻精品一区二区三区在线 ,日本少妇自慰免费完整版,99精品国产福久久久久久,久久精品国产亚洲av热一区,国产aaaaaa一级毛片,国产99久久九九精品无码,久久精品国产亚洲AV成人公司
網易首頁 > 網易號 > 正文 申請入駐

《現代電影技術》|楊璨等:基于物理引導的圖像亮度增強神經網絡研究

0
分享至


本文刊發于《現代電影技術》2026年第1期

專家點評

劉知一

高級工程師

中國電影科學技術研究所(中央宣傳部電影技術質量檢測所)影像制作技術研究處副處長

圖像亮度增強是影視調色的核心技術環節,通過對畫面亮度層級、動態范圍、局部對比度精準調控,可以統一影片色調、塑造獨特視覺風格、引導視線突出主體等,是連接拍攝素材與最終成片效果的關鍵橋梁,達芬奇、Adobe Premiere Pro以及Final Cut Pro等工具軟件均內置圖像亮度自動調節功能。然而現有功能的底層算法,例如基于直方圖均衡、基于人類視覺系統(HVS)增強等,在對可見度低、噪聲多的低光圖像進行亮度自動增強時,容易出現偽影和色彩斷層等現象,需要耗費大量時間進行手工調整。《基于物理引導的圖像亮度增強神經網絡研究》提出了一種新的“物理主干+殘差微調”混合架構,通過預設曝光區間約束全局伽馬指數與增益系數、僅對局部高頻進行細節補償、采用基于物理先驗約束損失函數替代偏微分方程求解等多種技術手段,不僅能在對低光圖像亮度智能調節時,實現更穩定的色彩保真和偽影抑制,并且平均推理時間等性能指標突出,在增強效果與計算效率上取得了較好平衡。該論文提出的輕量化混合架構,雖然目前尚需依賴成對數據訓練,但在單個GPU顯卡算力條件下,能夠高質量實現低照度圖像信噪比平衡、逆光場景光暈抑制等低光圖像智能增強,不僅具備很好的實用性,而且為國產電影級圖像處理軟件增強人工智能調色功能,趕超國外同類型軟件提供了有力的底層核心算法支撐。

基金項目

2025年度國家社科基金藝術學年度項目“智能影像創作與傳播的中國路徑與自主體系研究”(25AC006)。

作者簡介


楊 璨

碩士,北京電影學院聲音學院講師,主要研究方向:綜合媒體技術。

鄢凱杰

北京電影學院智能影像工程學院博士研究生在讀,主要研究方向:數字電影高新技術。



陳曉悅

碩士,北京電影學院教學實踐中心實驗師,主要研究方向:數字電影技術。

劉一葦

碩士,高級工程師,北京航天情報與信息研究所副主任,主要研究方向:影像與聲音技術。


摘要

針對低照度圖像亮度不足以及噪聲、色偏難以同時校正的問題,本研究提出一種基于物理引導的圖像亮度增強神經網絡。該方法在線性空間中分解圖像的亮度與色度,以少量超參數控制的單調色調曲線構成物理主干網絡,殘差網絡僅學習幅度受限的局部補償,并將多種物理一致性軟約束引入作為損失函數的一部分。在低照度街景數據集上的實驗結果顯示,該神經網絡在多種指標上均具有較優表現。研究證實,將可解釋的物理模型與數據驅動的神經網絡相結合,能顯著提升圖像亮度增強結果的自然度與穩定性,為跨場景應用提供技術基礎。

關鍵詞

神經網絡;低照度;圖像增強;影視畫面增強;交互畫面增強

1

引言

圖像亮度增強(Image Luminance Enhancement)作為底層視覺任務(Low?Level Vision Task)的核心之一,長期以來在電影后期調色、視覺特效(VFX)、高動態范圍(HDR)內容生成等領域扮演著關鍵角色。傳統的增強方法主要基于如直方圖均衡化(HE)算法一類的統計模型[1]或基于視網膜大腦皮層(Retinex)理論的物理模型[2]。這類方法具備計算高效且可解釋性強的優勢,但在面對復雜光照環境或非均勻噪聲時,往往難以兼顧全局動態范圍與局部紋理細節的平衡,易產生光暈效應或色彩偏移。

近年來,隨著深度學習(DL)的興起,以U?Net與Transformer為代表的深度神經網絡(DNN)架構,通過數據驅動的方法在圖像重建與增強任務中取得了顯著進展[3]。其憑借強大的特征提取與上下文建模能力,大幅提升了增強效果的視覺質量。然而,純數據驅動模型通常存在物理一致性缺失的問題:其傾向于過度擬合訓練數據的分布,而在處理未見過的場景時,容易產生違反物理規律的偽影。此外,這類模型通常依賴大規模的配對數據集進行監督訓練,這在高質量HDR內容生成或視效數據稀缺的場景下難以實現。

為引入物理約束以提升模型的泛化性,物理信息神經網絡(Physics?Informed Neural Networks, PINN)提供了一種新思路[4]。物理信息神經網絡通過將物理方程,特別是偏微分方程(PDE)嵌入損失函數(Loss Function)來約束解空間。然而,將物理信息神經網絡直接遷移至復雜的成像鏈路(ISP Pipeline)面臨巨大障礙,成像過程涉及照明、反射、傳感器噪聲及非線性色調映射(Non?Linear Tone Mapping)的多重耦合,難以用單一、顯式的偏微分方程精準描述。

針對上述局限,本文提出一種基于物理引導的圖像亮度增強神經網絡(Physics?Guided Image Luminance Enhancement Neural Network)(以下簡稱“物理引導神經網絡”)。首先,通過一個可解釋的物理主干網絡將圖像解耦為亮度與色度分量,并利用全局參數預測網絡在保持原始色度比例的前提下重整亮度分布,構建物理上合理的基線;隨后,引入輕量級殘差子網,在物理基線引導下,僅對局部細節與高頻紋理進行受控的非線性補償;最后,系統構建一組基于物理先驗的軟約束損失函數,替代復雜的偏微分方程求解。本實驗使用的數據集來自Kaggle:Tanvirnwu/LoLI?Street;模型源代碼開放在GitHub:PangXingQing/loli?pgnn。

為驗證方法有效性,本文基于LoLI?Street低照度街景數據集開展全面實驗:通過消融實驗驗證物理主干網絡、軟約束等核心組件的必要性;與TriFuse模型[5]從性能與效率雙維度進行對比;并通過逆光、低照度、廣域梯度三類典型場景的可視化分析,驗證模型在偽影抑制、色彩保真與參數穩定性上的優勢。

實驗結果表明,該網絡在像素級誤差控制與部署效率上實現顯著提升,能在計算資源受限條件下,穩定輸出曝光合理、色彩自然、細節豐富的增強圖像。本研究不僅證實了可解釋物理模型與數據驅動網絡融合的有效性,更解決了傳統方法與純深度學習模型的核心矛盾,為高質量影視制作、實時交互系統等跨場景應用提供了兼具效能與魯棒性的底層視覺增強解決方案。

2

相關研究

2.1 傳統圖像亮度增強算法

傳統亮度增強算法主要分為直方圖均衡化、視網膜大腦皮層理論與伽馬映射(Gamma Mapping)3大類,其為現代深度學習神經網絡提供了重要的物理先驗方法。

直方圖均衡化及其變體通過重映射像素灰度分布來擴展動態范圍。盡管各類改進算法通過分段策略或群體智能優化剪切閾值(Clip Limit)有效提升了全局對比度,但這類統計學方法往往忽略了圖像的空間結構,容易在平滑區域引入噪聲或導致局部過增強[6,7]。

視網膜大腦皮層理論將圖像建模為照明分量與反射分量的乘積,旨在消除不均勻光照以恢復物體本征顏色。多尺度視網膜大腦皮層理論方法通常引入偏微分方程或變分正則化來約束照明層的平滑性與邊緣保持特性。雖然該類方法在理論上具備嚴謹性,但求解偏微分方程計算開銷大,且涉及復雜的參數調節,難以滿足實時性需求[8]。

在工程實踐中,基于伽馬映射與色彩空間分離的方法因其高效性與穩定性而被廣泛采用。其核心思想是將圖像解耦為亮度與色度通道,僅對亮度執行單調的冪律變換,從而在提升亮度的同時嚴格保持原始色度比例。

本文提出的物理引導神經網絡綜合了上述各方法的優點,并將其形式化為神經網絡中的物理主干網絡:通過線性化與解耦操作確保色彩空間的獨立性,利用全局統計特征預測受限的伽馬曲線,從而為后續的殘差學習提供一個數值穩定、無色偏的物理基線。

2.2 基于深度神經網絡的圖像增強

數據驅動的深度神經網絡憑借其強大的特征學習與映射能力,已成為圖像增強領域的核心支撐技術。早期基于卷積神經網絡(CNN)的方法有效提取圖像的低層細節特征。隨后,以U?Net為代表的編碼器-解碼器(Encoder?Decoder)架構通過下采樣擴大感受野(Receptive Field),并利用跳躍連接(Skip Connections)融合深層語義與淺層紋理,成為圖像復原任務的主流骨干。然而,基于卷積神經網絡的U?Net結構受限于卷積核的局部歸納偏置(Inductive Bias),在捕捉長程依賴(Long?Range Dependency)和處理全局光照不一致性方面存在先天不足[9]。為解決局部性限制,基于自注意力機制的Transformer架構被提出,這類模型通過其全局建模能力,能夠捕捉像素間的長距離關聯,有效彌補了卷積神經網絡在全局特征提取方面的不足,能夠更準確地恢復圖像的整體亮度分布與結構一致性。然而,單一使用Transformer架構通常面臨巨大的計算開銷,且在極低照度下的局部紋理合成上容易出現偽影[10]。

相比之下,混合網絡架構通過融合多種方法的優勢,成為提升圖像亮度解決方案的新研究方向[11—14]。TriFuse模型[5]專門針對真實場景中的低光圖像,構建了特征提取、條件去噪與細節增強的3階段混合架構。DarkIR模型[15]則首次實現了低光照增強、去模糊及去噪的端到端統一處理,采用的非對稱編碼器-解碼器架構,通過任務解耦與區域分工的理念優化全局光照。此外,該模型在輕量化設計上表現出色,相比于其他模型,參數量大幅減少。LYT?Net模型[16]專注于資源受限場景的高效部署,通過色彩空間解耦與輕量化模塊設計實現低光照增強性能的平衡。

盡管上述代表性方法在不同維度推動了低照度增強的性能上限,但也揭示出當前研究仍存在的3方面問題:一是全局曝光校正與局部紋理復原難以兼顧;二是色彩一致性約束不足導致色偏與偽影;三是在追求效果時往往引入較高的計算開銷。針對上述問題,本文提出的物理引導神經網絡在結構上以輕量級全連接網絡從整圖統計特征預測可解釋的全局曝光參數,先構建物理合理的亮度基線,再以帶跳連的殘差編解碼器對局部高頻細節進行受控補償,以減少計算量與硬件消耗。

2.3 物理信息神經網絡與物理先驗思想

傳統的深度圖像增強模型主要依賴均方誤差(MSE)或平均絕對誤差(MAE)等像素級損失進行監督訓練。然而,純數據驅動的損失函數往往忽略了成像過程的物理規律,容易導致過擬合、偽影或色彩失真[17]。

物理信息神經網絡通過將控制偏微分方程及邊界條件作為正則項嵌入損失函數,實現了在少樣本或無監督條件下對物理場的精確求解,并早已應用于聲場重建等領域[18]。近年來,隨著物理先驗與深度學習融合技術的不斷發展,一系列聚焦低照度圖像增強的物理先驗架構相繼涌現,為解決傳統物理信息神經網絡的應用局限提供了新思路。RSFNet模型[19]雖最初面向語義分割任務,但其核心設計為圖像增強的物理約束提供了重要借鑒,該模型采用非對稱編碼器(Encoder)學習多模態互補特征,創新的殘差空間融合(RSF)模塊通過層次化特征聚合策略,結合帶有殘差連接的空間權重置信門,自適應控制跨模態特征融合過程。LightenDiffusion模型[20]則將物理可解釋性與擴散模型(Diffusion Model)的生成能力深度結合,成為無監督低光圖像增強的代表性成果,但該模型依賴復雜的潛空間分解與擴散過程,推理速度較慢,難以滿足實時應用需求。

鑒于成像系統的非線性與復雜性,物理引導神經網絡對物理信息神經網絡的思想進行了領域適配。系統不再求解復雜的偏微分方程,而是將成像先驗轉化為一組可計算的軟約束嵌入損失函數,這些軟約束主要包括:曝光單調性約束、線性色度保持約束及參數物理區間約束等。通過這種方式使神經網絡在不依賴大規模配對數據的情況下,能夠自適應地學習到符合物理規律的增強映射。

3

系統設計

3.1 總體架構

物理引導神經網絡由帶有可解釋物理主干的全連接神經網絡與基于U?Net架構的殘差網絡兩部分構成,如圖1所示。


圖1 系統總體架構示意圖

在處理流程上,考慮到伽馬映射帶來的非線性失真,系統首先將輸入的原始圖像映射至線性域并解耦為亮度與色度分量。物理主干網絡專注于全局曝光校正,其利用輕量級的全連接網絡預測一組受限參數,僅對亮度通道進行單調色調映射,并與保持不變的色度分量重組,進而生成圖像的物理基線以便后期進行修正補償。這一設計確保了在重整圖像亮度動態范圍的同時,嚴格保持原始圖像的色彩比例。

為彌補物理模型在細粒度紋理與高頻信息上的不足,系統引入殘差網絡。其以原始圖像輸入與物理基線為雙路輸入,通過帶跳連的卷積結構生成幅度受控的局部補償,也就是殘差。最終的預測輸出則由物理基線與殘差融合而成。

在模型優化過程中,不再依賴復雜的偏微分方程求解,轉而采用將一組帶加權的軟約束條件直接融入損失函數的策略。這些軟約束主要包括:曝光區間的合理性、色彩或白平衡的線性保持、參數的物理范圍限制等。這一策略使神經網絡在端到端的訓練中,能夠自適應地平衡亮度增強、色彩還原與細節恢復等多種圖像屬性。

3.2 物理主干網絡設計

物理主干網絡的核心目標是在保持原始線性色度比例不變的前提下,通過單調、可控且可解釋的方式重整亮度分布。如圖2所示,該過程主要包含3個階段,即線性解耦、參數預測與物理映射。


圖2 物理主干網絡流程示意圖

首先,系統將任意顏色空間的輸入圖像映射至線性顏色空間,并基于標準亮度加權系數提取線性亮度。為實現色彩保真,系統進一步計算逐像素的色度分量,并在計算過程中引入數值穩定常數。色度分量在后續流程中保持不變,僅作為色彩比例的參考,從而確保亮度調整不會引發色偏。

隨后進入參數預測階段。系統對處于線性顏色空間的圖像執行全局平均池化(Global Average Pooling),提取全圖的顏色與亮度統計特征向量。該向量被送入一個輕量級的全連接神經網絡,并預測出與亮度計算相關的兩個關鍵物理控制參數:全局伽馬指數(冪律指數)與增益系數。為保證輸出曲線符合物理規律,網絡末端采用非線性激活函數與仿射變換,嚴格將全局伽馬指數與增益系數約束在預設的合理曝光區間內,并通過額外的懲罰項防止參數越界。

最后,系統在亮度域以全局伽馬指數與增益系數作為參數執行單調冪律映射,獲得增強亮度,該亮度與線性色度分量重組得到增強后的線性基線。該基線通過非線性變換映射回原顏色空間后,最終得到物理基線。該流程確保了增強結果在動態范圍擴展的同時,嚴格遵循傳統成像管線的物理一致性。

為確保物理主干網絡遵循單調可控與數值穩定的原則,系統在訓練過程中對關鍵超參數施加了明確的物理約束。經過多次調試后,各參數的取值范圍及作用設定如下。

(1)映射曲線控制。系統將全局伽馬指數限制在[0.45,1.10]區間內,以平衡暗部提升與高光壓制;增益系數限制在[0.80,1.70]區間,用于控制整體亮度的線性縮放幅度。

(2)數值穩定常數。為防止在提取顏色信息時出現計算錯誤(例如在極暗區域亮度接近于零導致除法失效),系統設定亮度映射的最小下限為10-6;同時,在計算顏色與亮度的比值時,向分母添加10-3作為穩定項,這不僅避免了除零風險,還能有效抑制暗部噪聲被錯誤放大。

(3)邊界保護。設置顏色與亮度的比值上限約為2.0,以防止像素出現極端的顏色溢出;將細化殘差的縮放系數設定為(0.00,1.00]區間,嚴格限制殘差分支的調整幅度,確保物理主干網絡起主導作用;此外,引入數值為0.3的軟緩沖區間,用于在參數接近邊界時計算漸進的懲罰損失。

3.3 殘差網絡模型設計

為在物理基線之上實現細粒度的紋理恢復與局部對比度微調,同時不破壞已確立的全局曝光與色彩結構,系統構建了一個受約束的條件殘差網絡。如圖3所示,其采用經典的U?Net架構,通過多尺度上下文聚合與跳躍連接機制,在物理合理性與感知質量間建立平衡。


圖3 殘差網絡流程示意圖

網絡采用雙路通道拼接(Channel?wise Concatenation)策略構建四維輸入張量。這4個維度分別表示:訓練批大小(Batch Size)、原始圖像與物理基線的所有屬性疊加通道數量、圖像的高度、圖像的寬度,其中屬性通道的具體數值為6(兩組顏色空間疊加)。這種設計使網絡不僅能感知原始的紋理細節,還能直接獲取已經過物理校正的曝光參考。對于每個像素位置,網絡能通過比較原始信號與物理基線的差異,學習出哪些區域依然欠曝光或存在偽影,從而將注意力集中在需要修正的局部,而非對全圖進行盲目重構。

編碼器包含4個下采樣階段。輸入首先經過雙重卷積(DoubleConv)模塊,將屬性特征通道從6通道擴展至32通道,在保持輕量化的同時提取淺層紋理特征。隨后,通過最大池化層(Max Pooling Layer)逐步降低空間分辨率并倍增通道數,以擴大感受野,使深層特征能夠捕獲更大范圍的光照分布與結構語義。解碼器(Decoder)與之對稱,利用轉置卷積進行上采樣,并通過跳躍連接融合編碼器同層的高頻細節,有效解決了深層網絡容易丟失邊緣信息的問題。

在解碼器末端,系統采用逐點卷積(Pointwise Convolution)層將高維特征投影回3通道顏色空間。為貫徹微調的設計理念,輸出層并未直接生成最終圖像,而是生成一個幅度受限的殘差。具體而言,網絡輸出經過非線性激活函數壓縮至(-1.00,1.00)區間,并乘以一個前文提到的可學習或預設的細化殘差縮放系數。這一機制為殘差施加了明確的物理上界,強制網絡僅在必要區域生成非零響應,而在曝光已合理的區域輸出近似為零。

最終的增強輸出圖像由物理基線與殘差疊加而成。這種結構,既利用了U?Net架構強大的細節生成能力實現了抑噪與銳化,又通過幅度約束避免了常見的神經網絡偽影(如光暈、色偏),確保了增強結果的自然與穩定。

3.4 損失函數與優化目標

物理引導神經網絡的核心優勢在于摒棄了物理信息神經網絡方法中高計算開銷的偏微分方程殘差求解,轉而通過構建一組由物理約束結合感知一致性的復合損失函數來驅動端到端訓練,同時實現曝光校正、色彩保真與紋理復原。總優化目標定義為以下各子項的加權和。

3.4.1 重建與一致性損失

(1)像素級重建:衡量預測輸出與參考圖像間的均方誤差,確保基礎內容的準確性。

(2)亮度一致性:強制輸出圖像的亮度分布貼合物理主干網絡的預測結果,防止殘差網絡產生過大的亮度漂移,保證整體曝光的物理合理性。

3.4.2 色彩正則化損失

(1)色度保持:約束增強后的色度比例與原始線性色度保持一致,最大程度減少因亮度調整引發的飽和度失真。

(2)全局色彩均衡:基于灰度世界假設(Gray World Assumption),校正全局白平衡偏差。

(3)特定通道約束:包含中性區域保真與綠色抑制,前者保護非彩色區域(如白墻、水泥地)不發生色偏,后者專門抑制低照度增強中常見的綠色通道偽影。

3.4.3 物理先驗約束

物理先驗約束專門針對物理主干網絡中的參數預測模塊,通過懲罰項強制全局伽馬指數與增益系數始終落在預設的物理可行區間內(即前文所述的單調區間),避免網絡為擬合數據而生成退化的色調曲線。

在總損失中引入權重系數至關重要。由于上述各子項衡量的是不同維度的物理量(如像素值差、參數范圍、統計分布),其在數值量綱上存在顯著差異。若簡單疊加,量級較大的項將主導梯度下降(Gradient Dominance)的方向,導致細節恢復或微小的色彩校正被忽略。此外,不同約束在訓練階段的收斂需求并不一致:曝光相關項宜在早期快速收斂以確立全局結構,而紋理與色度的微調更適合在中后期起效。合理的加權策略能夠平衡各任務的梯度貢獻。

3.5 訓練策略優化

為確保模型在小樣本與弱監督條件下能夠穩定收斂,并有效抑制偏色與過增強現象,物理引導神經網絡引入了針對物理主干網絡與殘差網絡協同架構的特定訓練策略。

(1) 參數預測頭的中心化、初始化與幾何先驗

為防止訓練初期出現極端曝光預測導致的梯度不穩定,物理主干網絡的參數預測頭采用中心化初始化策略:輸出層的權重與偏置初始化為零,使初始的全局伽馬指數與增益系數位于物理可行區間的中點。該策略有效規避了初始階段的劇烈震蕩。此外,結合前述的參數先驗損失,系統對越界參數施加帶緩沖的二次軟懲罰,迫使網絡在保持單調性與物理可解釋性的約束下搜索最優解。

(2) 有界殘差學習與主干主導機制

為貫徹物理為主,數據為輔的設計理念,殘差網絡的輸出被嚴格限制在特定幅度內。訓練過程中,殘差首先經過非線性激活壓縮至單位區間,隨后通過可學習或預設的縮放因子映射至實際作用域,最終融合在非線性色彩空間執行截斷(Clipping)操作。這一有界性約束(Boundedness Constraint)確保了由物理主干網絡確立的全局亮度與色度關系始終占據主導地位,殘差網絡僅被允許在極小的數值空間內進行局部紋理補償,從而從根源上降低了過度銳化、光暈效應及通道漂移的風險。

(3) 曝光鎖定與精細化微調

訓練流程采用兩階段策略。在主訓練階段完成后,系統進入微調(Fine?Tuning)階段,學習率大幅衰減,同時保持全量參數更新與完整的損失函數約束。由于此時全局伽馬指數與增益系數已受到先驗項的強力錨定,微調階段主要驅動網絡在局部極小值附近進一步搜索,專注于高頻紋理的復原與微妙色彩偏差的修正,實現鎖定全局曝光、收斂局部細節的優化目標。

4

實驗與分析

4.1 實驗設置

實驗基于LoLI?Street低照度街景數據集構建。數據集被劃分為訓練集(Train)與驗證集(Val),并采用文件名匹配策略構建成對(Paired)樣本。所有圖像在預處理階段統一將寬高都調整為128像素,并歸一化至非線性顏色空間,以適應網絡輸入需求。

模型基于PyTorch框架實現,在單張16 GB顯存的英偉達(NVIDIA)GPU上進行訓練,批次大小設為64。訓練過程采用兩階段優化策略。

主訓練階段(Coarse Stage)對數據進行200輪(Epoch)訓練:采用數值為5×10-4的較高學習率,旨在快速確定由物理主干網絡主導的全局曝光曲線,并促使殘差子網完成結構性的對比度恢復。引入早停機制,當驗證集的損失函數誤差值連續5輪訓練無顯著下降時自動終止,以防止過擬合。

微調階段對數據進行50輪訓練:學習率衰減至1×10-4,在鎖定全局曝光特性的前提下,集中優化色彩一致性并消除局部偽影。同時也引入了與主訓練階段相同的早停機制。

4.2 定量評估與消融研究

為驗證物理引導神經網絡各組件的有效性,本研究在驗證集上對4種模型配置進行了對比消融實驗,分別是:只包含殘差網絡并以此作為其他配置對比基線的配置、只包含殘差網絡與作用于損失函數的軟約束的配置、只包含殘差網絡與物理主干網絡的配置以及包含前述所有內容的完整物理引導神經網絡。

表1展示了各模型在重建精度〔峰值信噪比(PSNR)、結構相似性(SSIM)、歸一化后的平均絕對誤差(MAE)〕與感知質量〔學習感知圖像塊相似度(LPIPS)、自然圖像質量評價(NIQE)〕上的綜合表現。對比可知,物理主干網絡的引入帶來了性能的質變,PSNR的值平均提升約 4~11 dB,同時SSIM的值則顯著躍升。這證實了在線性空間進行“亮度-色度分解”與“全局色調映射”是解決低照度問題的關鍵,該方式為殘差網絡提供了一個合理的曝光起點,極大降低了擬合難度。雖然在物理殘差的基礎上引入物理引導神經網絡的軟約束后各數據提升有限,但在完整的物理引導神經網絡中,這些軟約束與模型其他部分呈現出顯著的協同效應。這些物理一致性約束,進一步抑制了極端樣本中的過曝與色偏,使完整的物理引導神經網絡在所有指標上均取得最優值。

表1 LoLI?Street Val 各模型配置平均指標


從PSNR?SSIM散點分布(圖 4)可看出,物理引導神經網絡的樣本點高度集中于坐標系右上方(高精度、高結構相似性區域),而缺乏物理主干網絡的模型則呈現明顯的離散分布。這表明物理引導神經網絡不僅平均性能優異,且對多樣化的街景樣本具有更強的魯棒性,有效克服了純數據驅動方法的不穩定缺陷。


圖4 PSNR?SSIM 散點圖(Val中隨機200個樣本)

4.3 TriFuse模型對比實驗

對比實驗選取低照度圖像增強領域的當前最優水平(SOTA)模型 TriFuse進行對比。TriFuse是LoLI?Street數據集的創建者,并在該數據集上表現出優秀性能。評估僅保留核心項性能指標,并引入效率指標:參數量(Params)、浮點運算次數(FLOPs)與平均推理時間(AIT);實驗環境統一基于PyTorch框架,單張NVIDIA GPU推理,圖像輸入尺寸統一為128像素,批次大小為64,實驗結果如表2所示。

表2 物理引導神經網絡模型與TriFuse的定量性能對比表


客觀性能指標對比方面,TriFuse在通用視覺質量指標上呈現明顯優勢,這一差異源于 TriFuse 通過Transformer的長距離依賴建模與擴散模型的生成式去噪能力,能夠更精準還原圖像全局光照分布與結構一致性,在主觀視覺感知的自然度與細節豐富度上表現更優;而物理引導神經網絡則在像素級誤差控制上實現了突破性優勢,其平均絕對誤差僅為TriFuse的1/4,這一核心優勢得益于本文模型的物理引導機制,從底層限制了像素預測的偏差范圍。

效率指標對比上,物理引導神經網絡展現出優秀的部署能力與架構合理性:盡管參數量高于TriFuse,但通過輕量化架構設計,其浮點運算次數僅為TriFuse的5%,平均推理時間僅為TriFuse的10%,有效規避了TriFuse帶來的高額計算開銷,更適配低算力設備與實時交互場景。

4.4 定性分析與可視化對比

為直觀評估不同配置下的圖像增強質量,圖5展示了3組典型場景的視覺對比。這些樣本清晰地揭示了各消融模塊在偽影抑制與色彩復原上的行為差異。


圖5 各消融模型可視化對比

(1)逆光場景下的色彩保真與偽影抑制

如圖5柴犬樣例所示,在強逆光的高動態范圍(HDR)場景中,無論是只使用殘差網絡,還是在此基礎上引入軟約束后的模型配置都難以兼顧亮度提升與色彩還原,導致天空區域出現網格狀偽影,且主體毛發產生不自然的紅白偏色。實驗表明,無軟約束配置的模型極易在數值邊緣區域(如極暗或極亮處)發生退化,導致只包含殘差網絡與物理主干網絡的模型在陰影處產生嚴重的綠色斑塊與數值截斷。相較之下,物理引導神經網絡通過引入物理一致性軟約束,有效規范了全局參數的搜索空間,不僅消除了綠色偽影與色調斷層,更精準還原了柴犬的棕黃毛色,在保留夕陽暖調氛圍的同時實現了天空梯度的平滑過渡。

(2)低照度下的紋理恢復與信噪比平衡

如圖5黑貓樣例所示,針對黑色物體的紋理恢復主要考驗模型對噪聲與有效信號的解耦能力。在該場景中,僅包含殘差網絡與物理主干網絡的模型表現出過擬合傾向,過度拉伸了對比度曲線,導致背景高光溢出的過曝現象且主體面部生硬。而僅包含殘差網絡的模型則傾向于將黑色毛發的高頻紋理錯誤地識別并增強為灰白色噪點。物理引導神經網絡展現了最優的信噪比平衡策略,其利用物理先驗知識構建了更柔和的增強曲線,在避免背景過曝的前提下,成功保留了黑色毛發的微細紋理與眼部的高光神態,實現了視覺感知的自然化。

(3)廣域梯度場景的參數穩定性分析

如圖5校園日落樣例所示,在天空這類大面積漸變區域與深邃陰影并存的復雜場景中,參數估計的穩定性至關重要。僅包含殘差網絡的模型在此處暴露了明顯缺陷,該模型因上采樣或卷積操作在平滑區域引入了帶狀偽影(Banding Artifacts),在引入物理主干網絡后,模型則因參數估計溢出,在畫面底部產生了顯著的黑斑與色彩崩塌。物理引導神經網絡憑借物理一致性約束有效抑制了這種參數漂移現象,確保了全局光照估計的連續性。最終結果中,天空完美呈現了“藍色時刻”的純凈漸變,且地面暗部細節層次分明,驗證了物理約束在防止極端參數預測方面的魯棒性。

可視化結果證明了本文核心觀點的正確性:單獨的物理主干網絡雖然能提供強有力的曝光引導,但缺乏軟約束時極易產生數值不穩定性(如綠色或黑色斑塊);只有物理引導神經網絡通過物理一致性軟約束施加明確的參數先驗與平滑性約束,才能在利用物理先驗提升亮度的同時,確保結果的魯棒性與視覺自然度。

5

結論與展望

本文提出一種基于物理引導的圖像亮度增強網絡,采用物理主干網絡結合殘差網絡微調的混合架構,在小樣本與算力受限條件下有效解決了低照度增強中的物理一致性缺失與色彩失真問題。實驗結果表明,該網絡在測試數據集上表現出良好的像素級誤差控制能力與部署效率,能夠在計算資源受限條件下穩定輸出曝光合理、色彩自然、細節豐富的增強圖像。研究證實,將可解釋物理模型與數據驅動網絡相融合的技術思路,可為圖像亮度增強提供切實可行的新路徑,同時為高質量影視制作、實時交互畫面處理等相關場景應用奠定技術基礎。

展望未來,本研究提出的技術方案在影視行業具備廣闊且深入的應用前景。在專業制作場景中,模型可適配影視后期調色與視覺特效合成需求,針對低照度夜景、強逆光等復雜光照拍攝素材,實現亮度與細節的精準優化,同時抑制色偏與偽影,顯著降低逐幀修復的人工成本;對于經典影視的高清化重制,該方案能夠在提升畫面亮度、還原暗部細節的同時,較好保留原始膠片質感與色彩基調,助力影視文化遺產的數字化傳承。在前沿制作領域,其輕量化推理優勢可滿足虛擬攝影棚、高幀率虛擬攝制的實時處理需求,通過校準虛擬場景與實拍前景的光照匹配度,減少光影失真問題,為虛擬與真實畫面的無縫融合提供技術保障。隨著影視行業向沉浸式內容、多模態交互方向發展,該技術可進一步與虛擬現實(VR)或增強現實(AR)影像等新媒介結合,通過動態光照適配與像素級光影模擬,提升沉浸式內容的視覺可信度;其輕量化架構亦可為影視創作工具的普適化發展提供支持,降低高品質影像制作的技術門檻,進而推動全民影視創作生態的多元化發展,為影視行業的技術迭代與形態創新注入持續動力。

參考文獻

(向下滑動閱讀)

[1] 丁暢, 董麗麗, 許文海. “直方圖”均衡化圖像增強技術研究綜述[J]. 計算機工程與應用, 2017, 53(23): 12?17.

[2] 帥姣妍, 顧曉娟. 曝光校正算法及其在短視頻中的應用研究[J]. 現代電影技術, 2022(11): 31?39.

[3] TRAN L A, TRAN C N, NGUYEN N L, et al. Low?light enhancement via encoder?decoder network with illumination guidance[EB/OL]. (2025?07?04)[2025?12?28]. https://arxiv.org/abs/2507.13360.

[4] KARAKONSTANTIS X, CAVIEDES?NOZAL D, RICHARD A, et al. Room impulse response reconstruction with physics?informed deep learning[EB/OL]. (2024?01?02)[2025?12?28]. https://arxiv.org/abs/2401.01206.

[5] ISLAM M T, ALAM I, WOO S S, et al. LoLI?Street: Benchmarking Low?Light Image Enhancement and Beyond [EB/OL]. (2024?10?13)[2025?12?28]. https://doi.org/10.48550/arXiv.2410.09831.

[6] PATEL O, MARAVI Y P S, SHARMA S. A comparative study of histogram equalization based image enhancement techniques for brightness preservation and contrast enhancement[EB/OL]. (2013?11?16)[2025?12?28]. https://arxiv.org/abs/1311.4033.

[7] AEDLA R, DWARAKISH G S, REDDY D V. A comparative analysis of histogram equalization based techniques for contrast enhancement and brightness preserving[J/OL]. International Journal of Signal Processing, Image Processing and Pattern Recognition, 2013, 6(5): 353?366[2025?12?28]. http://dx.doi.org/10.14257/ijsip.2013.6.5.31.

[8] 楊崇智. 基于偏微分方程改進模型的聲吶圖像增強方法研究[D]. 哈爾濱: 哈爾濱工程大學, 2018.

[9] WANG T, ZHANG K, SHEN T, et al. Ultra?high?definition low?light image enhancement: a benchmark and transformer?based method[EB/OL]. (2022?12?22)[2025?12?28]. https://arxiv.org/abs/2212.11548.

[10] LORE K G, AKINTAYO A, SARKAR S. LLNet: a deep autoencoder approach to natural low?light image enhancement[EB/OL]. (2015?11?12)[2025?12?28]. https://arxiv.org/abs/1511.03995.

[11] WANG Z, CUN X, BAO J, et al. Uformer: a general u?shaped transformer for image restoration[EB/OL]. (2021?11?25)[2025?12?28]. https://arxiv.org/abs/2106.03106.

[12] YUAN N, ZHAO X, SUN B, et al. Low?light image enhancement by combining transformer and convolutional neural network[J/OL]. Mathematics, 2023, 11(7): 1657[2025?12?28]. https://doi.org/10.3390/math11071657.

[13] HE M, WANG R, ZHANG M, et al. SwinLightGAN: a study of low?light image enhancement algorithms using depth residuals and transformer techniques[J/OL]. Scientific Reports, 2025, 15: 12151[2025?12?28]. https://doi.org/10.1038/s41598-025-95329-8.

[14] BI C, QIAN W, CAO J, et al. LightingFormer: transformer?CNN hybrid network for low?light image enhancement[J].Computer & Graphics, 2024,124:104089.

[15] FEIJOO D, BENITO J C, GARCIA A, et al. DarkIR: Robust Low?Light Image Restoration [EB/OL]. (2024?12?18)[2025?12?28]. https://doi.org/10.48550/arXiv.2412.13443.

[16] BRATEANU A, BALMEZ R, AVRAM A, et al. LYT?NET: Lightweight YUV Transformer?based Network for Low?light Image Enhancement [EB/OL]. (2024?01?26)[2025?12?28]. https://doi.org/10.48550/arXiv.2401.15204.

[17] LIANG D, XU Z, LI L, et al. PIE: physics?inspired low?light enhancement[EB/OL]. (2024?04?06)[2025?12?28]. https://arxiv.org/abs/2404.04586.

[18] PEZZOLI M, ANTONACCI F, SARTI A. Implicit neural representation with physics?informed neural networks for the reconstruction of the early part of room impulse responses[EB/OL]. (2023?06?20)[2025?12?28]. https://arxiv.org/abs/2306.11509.

[19] SAINI S, NARAYANAN P J. Specularity Factorization for Low?Light Enhancement [EB/OL]. (2024?04?02)[2025?12?28]. https://doi.org/10.48550/arXiv.2404.01998.

[20] JIANG H, LUO A, LIU X H, et al. LightenDiffusion: Unsupervised Low?Light Image Enhancement with Latent?Retinex Diffusion Models [EB/OL]. (2024?07?12)[2025?12?28]. https://doi.org/10.48550/arXiv.2407.08939.

劉達等:智能時代電影科技發展演進與虛擬現實電影創新提質研究

王慧明等:6G網絡賦能沉浸式多媒體與未來電影:從關鍵能力到應用落地

期刊導讀 |《現代電影技術》2026年第1期


特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

電影技術微刊 incentive-icons
電影技術微刊
電影技術微刊
648文章數 209關注度
往期回顧 全部

專題推薦

洞天福地 花海畢節 山水饋贈里的“詩與遠方

無障礙瀏覽 進入關懷版