百度研究院重磅發布SAMA：讓AI視頻編輯告別"兩難困境"的新突破

這項由百度公司聯合清華大學、香港城市大學和浙江大學的研究團隊共同完成的研究發表于2026年3月，研究編號為arXiv:2603.19228v1，為AI視頻編輯領域帶來了一項重要突破。

視頻編輯就像修復一幅會動的畫作，既要保證畫面內容符合要求，又要確保動作看起來自然流暢。然而，現有的AI視頻編輯工具總是面臨一個讓人頭疼的問題：要么能夠準確按照指令修改視頻內容，但動作看起來僵硬不自然；要么能保持流暢的動作，但修改效果卻偏離了用戶的期望。這就好比一個裁縫，要么能按圖紙完美裁剪但縫制時破壞了布料的質感，要么能保持布料質感但剪裁走樣。

研究團隊深入分析這個問題后發現，問題的根源在于現有方法把語義修改（也就是按指令改變畫面內容）和動作保持（維持視頻的流暢性）混在一起處理。這就像讓一個人同時用左手寫字、右手畫畫一樣，很難兩邊都做好。

為了解決這個難題，研究團隊開發了一個名為SAMA的新框架。SAMA的核心思想是把視頻編輯任務分解成兩個相對獨立的部分：語義錨定（Semantic Anchoring）和運動對齊（Motion Alignment）。這就像把復雜的多任務工作分配給兩個專業工人，每個人專心做好自己擅長的事情。

語義錨定的工作原理類似于在關鍵幀上打下"標記點"。當你想要修改視頻中的某個物體時，系統會在幾個關鍵幀上預先標注出這個物體應該變成什么樣子，就像給畫家提供幾個重要的參考圖一樣。這樣做的好處是，系統可以更準確地理解用戶的修改意圖，確保整個視頻的修改效果保持一致。

運動對齊則專門負責保持視頻的自然流暢性。研究團隊設計了三種特殊的訓練任務來教會AI系統理解視頻中的運動規律。第一種叫做立方體修復，就像給系統一個被挖掉一塊的魔方，讓它學會如何填補缺失的部分。第二種是速度調節，通過讓系統練習將快進的視頻恢復到正常速度，來掌握時間流逝的規律。第三種是管道重排，把視頻切成小塊后打亂順序，然后讓系統學會重新排列，這樣它就能理解視頻中不同部分之間的時空關系。

SAMA采用了兩個階段的訓練策略。第一階段叫做分解預訓練，系統在這個階段學會了語義理解和運動控制這兩項基本技能，就像先讓學生分別練好書法和繪畫的基本功。令人驚喜的是，僅僅通過這個階段的訓練，系統就已經具備了相當不錯的零樣本視頻編輯能力，也就是說即使沒有看過具體的編輯示例，它也能完成一些基礎的編輯任務。第二階段是監督微調，使用成對的編輯數據進一步提升系統的表現，就像讓學生在掌握基本功后開始臨摹大師作品來精進技藝。

為了驗證SAMA的效果，研究團隊在多個權威測試平臺上進行了全面評估。測試結果顯示，SAMA在開源模型中達到了最佳性能，甚至可以與商業化的頂級產品如Kling-Omni和Runway相媲美。在具體的測試任務中，SAMA在物體添加、替換、移除和風格轉換等各種編輯類型上都表現出色。

更重要的是，SAMA解決了傳統方法過度依賴外部輔助信息的問題。以往的系統往往需要額外的視覺語言模型特征或者深度圖、骨骼圖等結構信息來輔助編輯，這就像做菜時需要很多復雜的調料和工具。而SAMA通過內在的分解學習機制，讓AI系統自己掌握了語義理解和運動控制的能力，就像培養出了一個既懂食材又會火候的全能廚師。

在實際應用效果上，SAMA展現出了顯著的優勢。當用戶要求給視頻中的人物添加帽子時，SAMA不僅能準確地添加帽子，還能確保帽子在人物運動過程中保持正確的位置和角度。當需要移除視頻中的某個物體時，SAMA能夠自然地填補被移除物體留下的空白區域，讓整個場景看起來渾然一體。在風格轉換方面，SAMA可以將現實視頻轉換為水彩畫風格，同時完美保持原有的運動軌跡和時序關系。

研究團隊還進行了詳細的消融實驗來驗證各個組件的作用。實驗結果顯示，語義錨定機制能夠顯著提高指令跟隨的準確性，同時加速模型訓練的收斂。運動對齊機制則在保持視頻時間一致性方面發揮了關鍵作用，特別是在處理快速運動和復雜相機動作的場景中表現突出。

技術細節方面，SAMA基于視頻擴散變換器框架，采用流匹配訓練范式。系統使用類型嵌入來區分不同類型的標記，包括源視頻標記、目標視頻標記和語義標記。在語義錨定中，系統使用SigLIP圖像編碼器來提取語義特征，然后通過池化操作生成緊湊的語義標記。在運動對齊的預文本任務中，立方體修復使用30%的掩蔽比例，速度擾動應用2倍的時間加速，管道重排將視頻分割為2×2×2的時空管道并隨機打亂。

數據處理方面，研究團隊使用了多個大規模數據集進行訓練。預訓練階段使用了NHR-Edit、GPT-Image-Edit、X2Edit等圖像編輯數據集，以及Koala-36M、MotionBench等文本到視頻數據集。微調階段則使用了Ditto-1M、OpenVE-3M、ReCo-Data等專門的視頻編輯數據集。所有數據都經過了基于視覺語言模型的質量篩選，確保訓練數據的高質量。

評估結果顯示，SAMA在VIE-Bench測試中的各項指標都達到了業界領先水平。在指令跟隨、內容保持和視覺質量三個維度上，SAMA分別獲得了8.711、9.340和9.259的高分，全面超越了現有的開源方法。在OpenVE-Bench和ReCo-Bench測試中，SAMA同樣表現出色，在多個子任務上都取得了最佳成績。

零樣本編輯能力測試更是令人印象深刻。即使沒有使用任何視頻編輯訓練數據，僅憑分解預訓練階段學到的知識，SAMA就能完成各種復雜的編輯任務。這證明了分解學習思路的有效性，也為未來的研究指明了方向。

值得一提的是，SAMA的設計理念體現了對視頻編輯本質的深刻理解。視頻編輯的核心挑戰在于平衡語義準確性和時間一致性，而SAMA通過分解學習的方式巧妙地化解了這一矛盾。這種思路不僅在技術上具有創新性，在工程實現上也更加優雅和高效。

從產業應用的角度來看，SAMA為視頻編輯工具的發展提供了新的技術路徑。傳統的視頻編輯需要大量的人工干預和專業技能，而基于SAMA的AI視頻編輯工具可以讓普通用戶通過簡單的文本描述就能完成復雜的編輯任務。這將大大降低視頻制作的門檻，為內容創作者提供更強大的工具。

研究團隊表示，未來將繼續完善SAMA框架，特別是在長視頻編輯、快速運動場景處理和語義標記增強等方面。同時，他們計劃開源相關代碼、模型和數據集，為學術界和產業界的進一步研究提供支持。

說到底，SAMA的成功在于它找到了一種更加自然和有效的方式來處理視頻編輯這一復雜任務。通過將問題分解為相對獨立的子任務，然后讓AI系統分別掌握相應的技能，SAMA避免了傳統方法中的相互干擾問題。這種分而治之的策略不僅提高了編輯質量，也提升了系統的泛化能力和魯棒性。對于普通用戶而言，這意味著他們可以期待更加智能、準確和易用的AI視頻編輯工具，讓創意表達變得更加簡單和直接。

Q&A

Q1：SAMA是什么？

A：SAMA是由百度公司聯合多所大學開發的AI視頻編輯框架，它的核心創新是將視頻編輯分解為語義錨定和運動對齊兩個獨立部分來處理，從而解決了傳統方法中語義修改和動作保持相互沖突的問題。

Q2：SAMA比現有視頻編輯工具好在哪里？

A：SAMA最大的優勢是能夠在準確執行編輯指令的同時保持視頻的自然流暢性，避免了傳統工具要么指令執行不準確、要么動作不自然的問題，在多項權威測試中達到開源模型最佳水平，甚至可與商業化頂級產品媲美。

Q3：普通用戶能使用SAMA進行視頻編輯嗎？

A：目前SAMA還處于研究階段，研究團隊計劃開源相關代碼和模型，未來可能會被集成到各種視頻編輯應用中，讓普通用戶通過簡單的文字描述就能完成復雜的視頻編輯任務，大大降低視頻制作門檻。