小米汽車首創突破：讓AI駕駛模擬器在危險情況下也能真實運行

自動駕駛汽車就像一個正在學習開車的新手司機，它需要在各種情況下練習才能變得熟練。但是，讓真正的汽車去練習撞車、沖出馬路這些危險駕駛情況顯然是不現實的。這時候，AI駕駛模擬器就像一個虛擬的駕駛練習場，讓自動駕駛系統可以安全地"練習"各種復雜場景。

不過，現有的AI駕駛模擬器面臨著一個嚴重問題：當遇到危險或者不合理的駕駛軌跡時，它們生成的視頻畫面會出現嚴重的扭曲、變形，甚至物體消失等現象，就像一臺故障的老電視機播放畫面時出現的雪花和扭曲一樣。這種情況下，自動駕駛系統根本無法從這些"破碎"的畫面中學到有用的東西。

來自小米汽車、浙江大學、香港理工大學等機構的研究團隊最近發表了一項突破性研究成果，他們開發出了名為PhyGenesis的新型AI駕駛模擬系統。這項研究發表在計算機視覺領域的頂級會議上，論文編號為arXiv:2603.24506v1。PhyGenesis就像是給駕駛模擬器裝上了一個"物理學老師"，讓它在面對各種危險駕駛情況時依然能夠生成符合物理規律、畫質清晰的模擬視頻。

這個"物理學老師"的工作原理很有趣。當系統接收到一個可能違反物理定律的駕駛軌跡時（比如兩輛車要在同一個位置相撞），它不會強行按照這個軌跡生成扭曲的畫面，而是會先"修正"這個軌跡，讓它符合真實世界的物理規律，然后再生成相應的視頻畫面。這就像一個經驗豐富的駕駛教練，當學員做出危險動作時，教練會及時糾正，確保練習過程既安全又有效。

研究團隊的創新不僅僅體現在技術層面，他們還構建了一個包含各種危險駕駛場景的大型訓練數據庫。這個數據庫就像一本完整的"危險駕駛案例集"，包含了車輛碰撞、沖出道路、急劇變道等各種現實中可能遇到的危險情況。通過學習這些案例，PhyGenesis獲得了處理復雜物理交互的能力，能夠準確模擬車輛在碰撞瞬間的真實反應。

一、物理感知的軌跡修正器：讓不可能成為可能

在自動駕駛的世界里，軌跡規劃就像是給汽車畫出一條行駛路線圖。傳統的軌跡規劃器有時會制定出一些看似合理、實際上卻違反物理定律的路線。比如說，它可能會規劃出兩輛車同時占據同一個位置的路線，或者讓車輛以不可能的速度急轉彎。這些"不可能的任務"就像讓一個人同時站在房間的兩個角落一樣荒謬。

PhyGenesis的第一個核心組件是物理條件生成器，它的作用就像一位嚴謹的物理學老師，專門負責審查和修正這些不合理的軌跡。當系統接收到一個可能違反物理定律的二維平面軌跡時，這個"物理學老師"會仔細分析其中的問題，然后將其轉換為符合真實世界物理規律的六自由度軌跡。

這里的"六自由度"可以理解為車輛在三維空間中的完整運動描述。就像描述一只飛鳥的完整運動一樣，我們不僅要知道它在水平面上的位置變化（前后、左右），還要知道它的高度變化（上下），以及它的姿態變化（俯仰、偏航、翻滾）。對于汽車來說也是如此，特別是在發生碰撞或者其他劇烈運動時，僅僅用平面坐標是遠遠不夠的。

物理條件生成器的架構設計充分體現了這種全面性思考。系統首先通過正弦-余弦位置編碼和多層感知機編碼器將輸入軌跡轉換為智能體標記。這個過程就像給每輛車貼上一個智能標簽，記錄它的身份和初始狀態。接下來，系統通過可變形空間交叉注意力機制讓這些車輛與多視角的環境特征進行交互。這就像讓每輛車都長出了"眼睛"，能夠感知周圍的環境。

然后是智能體之間的自注意力層，這是解決重疊和穿透沖突的關鍵設計。在這個環節中，每輛車都能"感知"到其他車輛的位置和運動狀態，就像一群舞蹈演員在舞臺上需要彼此配合、避免碰撞一樣。當系統檢測到兩輛車的軌跡會發生沖突時，它會自動調整軌跡，確保符合物理定律。

地圖交叉注意力層則負責整合矢量化地圖嵌入，提升系統對道路偏離情況的感知能力。這就像給每輛車配備了GPS導航系統，讓它們時刻知道道路的邊界在哪里，什么時候可能偏離正常行駛區域。

系統最有趣的創新之一是時間感知輸出頭的設計。傳統的多層感知機在預測軌跡時往往會產生平滑的輸出，無法捕捉碰撞瞬間的急劇變化。這就像用普通相機拍攝高速運動的物體，往往會得到模糊的圖像。而時間感知輸出頭就像一臺高速相機，能夠準確捕捉碰撞瞬間車輛速度的突然下降、方向的急劇改變等動態特征。

為了訓練這個物理條件生成器，研究團隊采用了一種巧妙的反事實軌跡構造策略。他們以碰撞場景為例，保持碰撞前的原始軌跡不變，但在碰撞后故意延續車輛的碰撞前速度，人為創造出"穿透式"的反事實軌跡條件。然后用真實的碰撞動力學作為監督目標進行訓練。這種方法就像訓練一個醫生識別和糾正錯誤的診斷一樣：先給他看錯誤的案例，然后告訴他正確的答案，讓他學會如何識別和糾正錯誤。

二、物理增強的視頻生成器：將真實感推向極致

有了準確的物理軌跡后，下一個挑戰就是如何根據這些軌跡生成高質量、物理一致的駕駛視頻。這就像有了一份詳細的電影劇本后，還需要優秀的導演和攝制團隊來拍攝出真實可信的電影畫面。

PhyGenesis的第二個核心組件是物理增強多視角視頻生成器，它基于WAN2.1這個高容量擴散變換器構建?？梢园褦U散變換器理解為一種特殊的"畫家"，它能夠從隨機噪聲開始，逐步"畫出"清晰、真實的圖像。這個過程就像藝術家從一張空白畫布開始，通過無數次的修改和完善，最終創作出栩栩如生的作品。

為了適應自動駕駛的特殊需求，研究團隊對原始的圖像生成模型進行了重大改進。首先是多視角建模能力的增加。真實的自動駕駛車輛通常配備多個攝像頭，可以同時觀察前方、后方、左側、右側等多個方向。傳統的視頻生成模型往往只關注單一視角，這就像只用一只眼睛看世界一樣，缺乏立體感和全面性。

研究團隊通過一種巧妙的重塑技術解決了這個問題。他們將多視角的視頻輸入重塑為時間×通道×高度×（視角數×寬度）的格式，將視角維度連接到空間軸上。這樣，相同的自注意力機制就能夠自然地捕捉跨視角的依賴關系，就像讓"畫家"同時具備了全景視野，能夠統一協調多個視角的畫面內容。

布局條件的引入是另一個重要創新。系統將未來時刻的三維智能體邊界框和地圖折線投影到每個攝像頭視角上，生成特定視角的控制圖像。這些控制圖像就像給"畫家"提供的草圖和輪廓，告訴它應該在畫面的哪個位置畫什么東西。通過變分自編碼器編碼后，這些布局信息與噪聲潛在輸入在通道維度上連接，為擴散變換器提供精確的生成指導。

但是，真正讓PhyGenesis與眾不同的是其數據驅動的物理增強策略。當前的世界模型在物理挑戰性場景中失效的根本原因是它們的訓練分布缺乏物理交互。這就像一個從來沒有見過下雨天的司機，突然遇到暴雨天氣時會手足無措一樣。

為了解決這個問題，研究團隊構建了一個異構數據集，將真實世界的駕駛日志與模擬生成的物理挑戰性數據以1：1的比例混合訓練。真實世界數據提供了豐富的正常駕駛行為和高保真的視覺細節，而模擬數據則引入了各種極端場景，如碰撞和偏離道路等事件。這些事件提供了學習復雜物體-環境交互的密集監督信號，這些先驗知識在常規的真實世界駕駛數據中是根本缺失的。

訓練目標采用了整流流方法，這是一種通過常微分方程確保穩定訓練的技術。整個過程可以類比為學習繪畫的藝術家：給定一個干凈的目標視頻和隨機噪聲，系統學習預測將噪聲轉換為目標視頻的"速度向量"。這個學習過程不僅考慮初始上下文幀，還要考慮場景描述和多視角布局圖像等多種條件。

三、異構數據集構建：真實與虛擬的完美融合

數據就像是AI系統的"營養來源"，數據的質量和多樣性直接決定了系統能力的上限。對于駕駛視頻生成這樣的復雜任務來說，僅僅依靠真實世界的數據是遠遠不夠的。這就像想要培養一個全能的運動員，如果只讓他在平地上跑步，他就永遠無法應對山地、雪地等復雜環境的挑戰。

現有的駕駛世界模型主要在nuScenes這樣的真實世界數據集上訓練，這些數據集雖然包含了豐富的城市環境信息，但在物理挑戰性事件方面存在嚴重不足。真實世界的駕駛數據天然偏向于安全、正常的駕駛行為，很少包含碰撞、急劇變道、沖出道路等危險情況。這種數據偏差就像一個只在風和日麗的天氣中練習開車的司機，一旦遇到暴雨、大雪等惡劣天氣就會手忙腳亂。

為了填補這個空缺，研究團隊利用CARLA模擬器構建了大規模的物理挑戰性多視角合成數據集。CARLA模擬器就像一個完全可控的"虛擬城市"，研究人員可以在其中創造各種現實中難以安全重現的危險場景。

團隊基于Bench2Drive路由設置構建了兩個子數據集：CARLA Ego和CARLA Adv。CARLA Ego專注于自車與環境或周圍智能體之間的交互，而CARLA Adv則專注于以附近非自車智能體為中心的交互。在數據收集過程中，他們通過擾動自車（或對抗智能體）的路線和目標速度來誘發碰撞、偏離道路和急劇機動等事件。

這種擾動策略的設計相當巧妙。系統通過兩個變量進行參數化：橫向路線偏移和目標速度。目標速度從0到30米/秒之間的預定義值中采樣，并在每個值周圍的區間內進行均勻隨機擾動。橫向偏移則從-200到200米之間的預定義值中采樣，同樣在每個值周圍進行隨機擾動。在場景初始化時，系統還會等概率選擇三種擾動模式之一：零橫向偏移配合隨機化目標速度、固定10米/秒目標速度配合隨機化橫向偏移，或者目標速度和橫向偏移都隨機化。

為了確保數據的高保真度和準確性，研究團隊為模擬器配備了與nuScenes配置嚴格對齊的傳感器套件，包括1個激光雷達、6個環視攝像頭（900×1600分辨率）、5個雷達和1個慣性測量單元/全球定位系統。更重要的是，他們還集成了碰撞傳感器和高清地圖元數據，能夠精確記錄撞擊和偏離道路的確切時間戳。

數據收集過程采用了精心設計的時間窗口策略。每個場景都從24步（對應12Hz采樣率下的2秒）的預熱期開始，讓車輛首先遵循默認的自動駕駛行為。預熱期結束后，系統將標稱路線替換為平滑和超采樣的路線，并對未來路線點應用余弦平滑的橫向偏移，使車輛逐漸從當前路線過渡到擾動路線。

在整個過程中，系統持續監控擾動車輛的碰撞和偏離道路情況。碰撞通過CARLA碰撞傳感器檢測，并記錄碰撞對象類別，包括車輛、行人、停放車輛、交通對象和靜態對象。偏離道路事件通過查詢本地車道類型并檢查車輛是否進入人行道或路肩區域來檢測。一旦觸發事件，系統會繼續收集48幀（對應12Hz下的4秒）的額外數據，然后終止回滾。

最終構建的異構數據集規模相當可觀。團隊模擬了大約31小時的駕駛數據，其中CARLA Adv子集包含15.5小時和76萬個標注邊界框，CARLA Ego子集包含15.2小時和83萬個邊界框。通過基于規則的過濾機制，他們精確定位物理交互的時間戳，提取出9.7小時的高度物理挑戰性視頻片段。最終，這9.7小時的模擬片段與4.6小時的真實世界數據組合，構成了完整的異構數據集。

四、實驗驗證：全方位性能評估

為了驗證PhyGenesis的有效性，研究團隊設計了一套全面的實驗評估方案。這套方案就像給一個新研發的汽車進行全方位的安全測試一樣，需要在各種不同的路況和駕駛條件下檢驗其性能。

評估指標的設計體現了多維度的考量。在視覺質量方面，團隊使用了FID（Fréchet Inception Distance）和FVD（Fréchet Video Distance）兩個廣泛認可的指標。這兩個指標就像視頻質量的"評分員"，能夠客觀衡量生成視頻與真實視頻在視覺特征上的相似程度。FID主要關注單幀圖像的質量，而FVD則考慮視頻的時序連貫性。

物理合理性的評估采用了WorldModelBench基準測試，這是一個專門為自動駕駛視頻生成設計的評估框架。該基準使用與人類偏好對齊的視覺語言模型作為評判者，報告四個關鍵維度的平均分數：質量（物體不會不規則變形）、不可穿透性（物體不會不自然地相互穿透）、逐幀質量（無不佳幀或低質量內容）和時序質量（無時序不一致的場景和物體）。

除了這些自動化評估指標，研究團隊還進行了大規模的人類偏好評估。他們招募了30名參與者，收集了1050個響應，讓人類評估者在相同條件下生成的不同方法的視頻中選擇視覺質量最高的一個。這種人類評估就像讓真正的觀眾為電影打分一樣，能夠提供更貼近實際應用需求的評價。

可控性評估則通過控制誤差來衡量生成視頻對輸入軌跡條件的跟隨程度。具體來說，系統使用ViPE方法從生成視頻中提取相機姿態序列，然后計算與真實軌跡之間的幾何平均旋轉誤差和平移誤差。

實驗結果令人印象深刻。在nuScenes數據集上，PhyGenesis在所有評估指標上都取得了最佳性能，FID為10.24，FVD為40.41，物理得分達到0.97，人類偏好率高達67%。更重要的是，在物理挑戰性的CARLA數據集上，PhyGenesis的優勢更加明顯。在CARLA Ego數據集上，其FVD相比最佳基線方法降低了63%（從197.57降至72.48），物理得分從0.39提升至0.71，人類偏好率從最高的13%大幅提升至71%。

為了更深入地理解系統的有效性，研究團隊還進行了詳細的消融實驗。結果顯示，物理條件生成器和異構協同訓練都對最終性能有重要貢獻。移除物理條件生成器后，CARLA Ego數據集上的FVD從72.48增加到116.51，物理得分從0.71降至0.65。而移除異構數據訓練后，CARLA ADV數據集上的FVD從77.83增加到89.83，人類偏好率從53%降至13%。

特別值得注意的是，研究團隊還進行了nuScenes壓力測試。他們在nuScenes測試集上創建違反物理定律的軌跡條件，通過放大自車速度并僅保留碰撞案例，同時保持第一幀條件不變。在這種極端條件下，PhyGenesis依然能夠生成物理一致的視頻，而其他方法則出現了嚴重的變形和不一致現象。

五、技術細節與創新突破

PhyGenesis的成功不僅僅體現在整體架構的設計上，更體現在眾多技術細節的精心考量和創新突破中。這些細節就像一臺精密手表中的每一個齒輪和彈簧，看似微小，但對整體性能至關重要。

在物理條件生成器的優化過程中，研究團隊采用了加權距離損失函數。這個損失函數不是簡單地對所有時刻和所有智能體給予相同的關注，而是通過事件窗口權重和物理智能體權重來突出關鍵的物理時刻。事件窗口權重會在碰撞或偏離道路時間戳周圍的時間窗口內增加損失，而物理智能體權重則進一步放大參與交互的智能體的損失。這種設計就像給重要的學習內容增加"重點標記"一樣，讓系統把更多注意力集中在最關鍵的物理交互瞬間。

時間感知輸出頭的設計是另一個技術亮點。傳統的多層感知機在預測軌跡時會產生平滑的輸出，這對于正常駕駛情況是合適的，但對于碰撞這種突發事件就顯得力不從心。研究團隊創新性地為每個精化的智能體標記擴展到未來時間步，并與步驟特定的可學習時間嵌入連接。連接后的特征通過時間卷積網絡處理，以捕捉局部步間動態變化，然后通過多層感知機投影輸出精確的6自由度狀態。

在視頻生成方面，研究團隊采用了課程協同訓練策略。這種策略分為兩個階段：首先在較低分辨率（224×400）進行預訓練，快速學習多視角幾何和物理挑戰性布局映射；然后在高分辨率（448×800）進行微調，確保視覺保真度。這種漸進式訓練就像學習繪畫一樣，先掌握基本的構圖和比例關系，再逐步完善細節和色彩。

為了確保實驗的公平性，研究團隊還開發了一個風格遷移模型，將CARLA視頻轉換為nuScenes視覺風格。這個遷移模型基于Wan2.1-Fun-V1.1-1.3B-Control構建，通過逐幀深度信息和詳細文本描述進行條件化。由于基線方法主要在nuScenes上訓練，這種風格遷移確保了所有方法都在相同的視覺域內進行比較。

權重設計的消融研究顯示了系統的魯棒性。研究團隊測試了不同的λevent和λagent值，發現系統對這些超參數相對不敏感，這表明權重機制在提供聚焦監督的同時保持了良好的穩定性。事件權重λevent從1變化到10時，在CARLA Ego數據集上的6自由度L2距離僅從0.56變化到0.57，智能體權重λagent從1變化到20時的性能變化也很小。

在CARLA場景構建方面，研究團隊采用了精心設計的擾動策略。對于CARLA Ego，擾動車輛是自車本身，在24步預熱期后，系統用平滑和超采樣的路線替換標稱路線，并對未來路線點應用余弦平滑的橫向偏移。對于CARLA Adv，系統在自車附近生成對抗性車輛，通過在自車路線的局部鄰域內（包括前方、后方和相鄰車道候選位置，約15米范圍內）采樣有效航路點來實現。

六、實際應用與未來展望

PhyGenesis的成功不僅僅是一個學術研究的突破，更代表著自動駕駛技術發展的一個重要里程碑。這項技術的實際應用前景廣闊，就像從實驗室走向現實世界的一項革命性發明。

在自動駕駛系統的開發和測試中，PhyGenesis提供了前所未有的安全性和效率。傳統的自動駕駛測試需要在真實道路上進行大量的里程測試，這不僅成本高昂，而且存在安全風險。即使使用現有的模擬器，也很難真實地模擬各種極端情況。PhyGenesis的出現改變了這種局面，它能夠生成高保真、物理一致的危險駕駛場景視頻，讓自動駕駛系統能夠在虛擬環境中安全地"體驗"各種現實中難以遇到的極端情況。

在自動駕駛算法的訓練方面，PhyGenesis提供了更加豐富和多樣化的訓練數據。傳統的訓練數據主要來自正常的駕駛場景，這就像讓一個學生只做簡單的題目，永遠無法提高應對復雜問題的能力。PhyGenesis生成的包含各種物理挑戰性場景的視頻數據，就像為學生提供了各種難度級別的練習題，能夠顯著提升自動駕駛系統的魯棒性和安全性。

在安全評估和認證方面，PhyGenesis為自動駕駛系統提供了標準化的測試平臺。監管機構和汽車制造商可以使用這個系統生成一系列標準化的測試場景，客觀評估不同自動駕駛系統在各種危險情況下的表現。這就像為所有的自動駕駛系統提供了統一的"駕照考試"，確保它們在上路前都能達到必要的安全標準。

在保險行業的應用也充滿潛力。保險公司可以使用PhyGenesis模擬各種事故場景，更準確地評估風險和制定保險策略。傳統的車險定價主要基于歷史統計數據，而PhyGenesis能夠生成各種假設情況下的事故模擬，為保險精算提供更加精確的數據支持。

在駕駛員培訓領域，PhyGenesis也展現出巨大價值。駕駛學?？梢允褂眠@個系統為學員提供各種危險情況的模擬體驗，讓他們在安全的虛擬環境中學習如何應對緊急情況。這種訓練方式不僅安全，而且能夠提供傳統駕駛培訓中難以遇到的各種復雜場景。

然而，這項技術的發展也面臨著一些挑戰。計算資源的需求是一個重要考慮因素。PhyGenesis需要大量的GPU資源進行訓練和推理，這對于一些資源有限的研究機構或小型公司來說可能是一個障礙。隨著硬件技術的發展和算法的優化，這個問題有望逐步得到解決。

數據質量和多樣性的持續改進也是一個重要方向。雖然PhyGenesis已經在異構數據集上取得了顯著進展，但現實世界的復雜性仍然超出了任何單一數據集的覆蓋范圍。未來需要不斷擴展和豐富訓練數據，包括更多的天氣條件、道路類型、交通參與者等。

倫理和法律層面的考慮也不容忽視。隨著AI生成內容技術的發展，如何確保生成的駕駛場景視頻不被惡意使用，如何在法律框架內規范這類技術的應用，都是需要深入思考的問題。

從技術發展趨勢來看，PhyGenesis很可能成為未來更大型、更復雜的自動駕駛世界模型的重要組成部分。隨著多模態AI技術的發展，未來的系統可能不僅能夠生成視覺場景，還能夠同步生成相應的雷達、激光雷達等傳感器數據，提供更加全面和真實的模擬體驗。

實時生成能力的提升也是一個重要發展方向。目前的系統主要用于離線的訓練和測試，但如果能夠實現實時生成，就可能應用于在線的決策支持和實時仿真，為自動駕駛系統提供即時的場景預測和風險評估。

說到底，PhyGenesis代表的不僅僅是技術進步，更是我們對自動駕駛安全性追求的一次重要突破。它讓我們能夠在虛擬世界中安全地探索各種危險場景，為現實世界的安全駕駛提供更好的保障。就像飛行員需要在模擬器中練習各種緊急情況一樣，自動駕駛系統也需要這樣一個"完美的練習場"。PhyGenesis正是這樣的練習場，它不僅能夠模擬已知的危險情況，還能夠根據物理定律生成新的、合理的危險場景，為自動駕駛技術的安全發展開辟了新的道路。

隨著這項技術的不斷完善和推廣，我們有理由相信，未來的自動駕駛汽車將能夠更好地應對各種復雜和危險的駕駛情況，為人類提供更加安全、可靠的出行體驗。這不僅是技術的勝利，更是人類智慧在追求安全出行道路上的又一次重要進步。

Q&A

Q1：PhyGenesis和普通的AI駕駛模擬器有什么區別？

A：普通的AI駕駛模擬器在遇到危險或不合理駕駛軌跡時會生成扭曲變形的畫面，就像故障電視播放雪花畫面一樣。而PhyGenesis配備了"物理學老師"，能先修正不合理軌跡讓其符合物理定律，再生成清晰真實的視頻畫面。它還專門訓練了包含碰撞、沖出道路等危險場景的數據，所以即使在極端情況下也能保持畫面的真實性和物理一致性。

Q2：PhyGenesis如何確保生成的危險駕駛場景是真實可信的？

A：研究團隊構建了包含真實世界數據和CARLA模擬器生成的物理挑戰性數據的異構訓練數據集。模擬數據專門設計了各種碰撞、偏離道路等危險場景，并配備碰撞傳感器精確記錄物理交互時刻。系統通過學習這些真實的物理交互案例，獲得了處理復雜物理現象的能力，能夠準確模擬車輛在碰撞瞬間的真實反應，確保生成場景符合物理定律。

Q3：這項技術對普通人的日常生活會產生什么影響？

A：PhyGenesis主要影響自動駕駛汽車的安全性和可靠性。它為自動駕駛系統提供了安全的"練習場"，讓汽車能在虛擬環境中學會應對各種危險情況，而不需要在真實道路上冒險測試。這意味著未來的自動駕駛汽車會更加安全可靠。此外，保險公司可以用它更準確地評估風險，駕駛學?？梢杂盟峁└S富的安全培訓，最終讓所有人的出行都變得更安全。