英偉達(dá)：DLSS 5僅處理2D幀，“AI換臉”爭(zhēng)議源于訓(xùn)練數(shù)據(jù)偏差

IT之家 3 月 21 日消息，英偉達(dá)最新發(fā)布的 DLSS 5 技術(shù)自亮相以來(lái)便爭(zhēng)議不斷 —— 有人稱其為實(shí)時(shí)圖形領(lǐng)域最具變革性的飛躍之一，也有人將其貶為“AI 垃圾”。

在與 YouTuber 丹尼爾 · 歐文（Daniel Owen）的對(duì)話中，英偉達(dá)技術(shù)專家（GeForce Evangelist）雅各布 · 弗里曼（Jacob Freeman）披露了該技術(shù)的更多技術(shù)細(xì)節(jié)。

他表示，DLSS 5 僅以游戲場(chǎng)景中的 2D 渲染幀及其運(yùn)動(dòng)矢量作為輸入，反駁了英偉達(dá)之前“基于源 3D 內(nèi)容”的營(yíng)銷文案。

據(jù)介紹，由于模型位于圖形管線（pipeline）的末端，它只能看到 2D 幀，對(duì)物體的 3D 幾何結(jié)構(gòu)一無(wú)所知。同樣，該模型也無(wú)法訪問(wèn)引擎提供的基于物理渲染（PBR）屬性。因此，它只能推斷材質(zhì)應(yīng)有的外觀，而非直接從游戲引擎讀取這些屬性。這迫使模型依賴語(yǔ)義標(biāo)注來(lái)識(shí)別像素 —— 例如將某些像素歸類為眼睛、臉頰、嘴唇等。如果訓(xùn)練數(shù)據(jù)偏向于“完美”面孔，模型就有可能將角色的面部“重新詮釋”或“美化”成某種通用標(biāo)準(zhǔn)，這也是部分玩家認(rèn)為 DLSS 5“AI 換臉”的原因。

雖然英偉達(dá)強(qiáng)調(diào)“底層幾何結(jié)構(gòu)保持不變”，但這位 YouTuber 展示了一個(gè)清晰的結(jié)果：AI 被抓到生成（或者說(shuō)想象出）了原始角色模型中根本不存在的頭發(fā)和面部細(xì)節(jié)（也是某種意義上的 AI 幻覺(jué)）。雖然原始 3D 模型確實(shí)被保留了下來(lái)，但 DLSS 5 也是在那些像素上重新繪制了一幅新的圖像。這很可能是 AI 訓(xùn)練數(shù)據(jù)導(dǎo)致的結(jié)果 —— 在它的“判斷”中，那種發(fā)型就應(yīng)該在特定區(qū)域存在頭發(fā)。

所謂 DLSS 5“AI 換臉”論最關(guān)鍵的證據(jù)在于，開(kāi)啟 DLSS 5 后，《生化危機(jī)：安魂曲》主角格蕾絲出現(xiàn)了脫離原本游戲設(shè)定的妝容，面部特征也被改變，完全無(wú)視了場(chǎng)景的陰暗背景和角色的故事設(shè)定。

當(dāng)被問(wèn)及這種丟失時(shí)，弗里曼回應(yīng)稱，開(kāi)發(fā)者將能夠通過(guò)一個(gè)強(qiáng)度滑塊來(lái)自定義 AI 幀與原始幀的比例，還可以使用色彩分級(jí)工具（伽馬、飽和度和對(duì)比度），并能夠?qū)⒛承?duì)象完全排除在 AI 生成過(guò)程之外。

但即便如此，開(kāi)發(fā)者仍然無(wú)法讓 DLSS 根據(jù)游戲?qū)嶋H畫(huà)面進(jìn)行感知，也無(wú)法微調(diào)模型以使其更好地適配游戲畫(huà)面風(fēng)格。

對(duì)許多人來(lái)說(shuō)，DLSS 5 目前的狀態(tài)感覺(jué)不像是一場(chǎng)渲染革命，而更像是一個(gè)“美顏濾鏡”。此外，英偉達(dá)自家宣傳素材中出現(xiàn)的殘影偽影也表明，如果沒(méi)有對(duì) 3D 場(chǎng)景更深入、更低層級(jí)的訪問(wèn)和整合，時(shí)間穩(wěn)定性仍然是一個(gè)挑戰(zhàn)。就目前而言，DLSS 5 在性能及視覺(jué)效果方面顯然還有很大的改進(jìn)空間。如果英偉達(dá)希望避免被貼上“AI 垃圾”的標(biāo)簽，就必須在今年秋季 DLSS 5 正式之前解決這些爭(zhēng)議。