CVPR 2026 | 從「單幀」到「分鏡」：STAGE重新定義AI電影敘事

從 Sora，可靈到 seedance 2.0，AI 視頻生成的浪潮正席卷而來，其驚人的視覺質量讓人嘆為觀止。然而，當我們嘗試用它創作一個真正的 “故事” 時，一個普遍的瓶頸浮出水面：連貫性。

為了攻克這一難題，我們提出了 STAGE，一個以 “電影分鏡” 為核心的全新敘事生成框架。它不再預測孤立的關鍵幀，而是直接生成每個鏡頭的 “起始 - 結束幀對”，為多鏡頭視頻的創作提供了前所未有的結構化控制力。

目前，該論文已錄用至CVPR 2026，相關數據集和模型訓練訓練和推理代碼將逐步開源：

• 論文標題：STAGE: Storyboard-Anchored Generation for Cinematic Multi-shot Narrative
• 作者單位：北京郵電大學、北京大學、北京智源人工智能研究院
• 代碼鏈接：https://github.com/escapistmost/Storyboard-Anchored-Generation

一、前言：AI 視頻生成，從 “做動圖” 到 “拍電影” 還差多遠？

究其原因，一個好故事并非一堆漂亮鏡頭的簡單拼接，而是一個有結構、有邏輯的敘事整體。

目前，主流的多鏡頭視頻生成方法大致分為兩派：

1. 端到端 “一鏡到底”：計算成本極高，且過程像 “開盲盒”，難以控制，稍有不慎就滿盤皆輸。
2. 關鍵幀 “分步走”：先生成幾個關鍵畫面作為 “路標”，再讓視頻模型去 “腦補” 中間過程。這種方法更靈活，但問題也隨之而來。

這些方法生成的視頻，常常在鏡頭切換時出現 “災難性” 的斷裂：前一秒主角還穿著紅衣，后一秒就換了顏色；或者一個流暢的開箱動作，在特寫鏡頭里卻變成了 “瞬移”（如下圖中的戒指盒）。這些 “穿幫鏡頭” 的根源在于，模型只知道每個鏡頭 “大概長啥樣”，卻不懂得鏡頭與鏡頭之間該如何 “銜接”。

現有方法（上）在鏡頭切換時常出現動作不連貫、物體不一致的問題。STAGE（下）通過預測結構化的 “分鏡”，實現了電影級的平滑過渡。

問題的本質是：我們一直在讓 AI “畫單幀”，而不是 “拍分鏡”。一個真正的導演，腦海里不僅有高潮畫面，更有每個鏡頭的起與承、轉與合。

二、核心洞察：用 “起始 - 結束幀對” 重構敘事骨架

多鏡頭敘事的關鍵，不應是幾個孤立的、稀疏的關鍵幀，而應是一個結構化的電影分鏡 (Storyboard)。基于此，我們提出了一個創新性的想法：

將關鍵幀生成任務，重新定義為 “起始 - 結束幀對 (Start-End Frame Pairs)” 的預測任務。

也就是說，對于每一個鏡頭，我們不再只預測一個代表性的畫面，而是直接預測出它的 “第一幀” 和 “最后一幀”。這個看似簡單的改變，卻帶來了三大優勢：

1. 長程敘事有 “骨架”：所有鏡頭的起始 / 結束幀串聯起來，形成了一個穩固的視覺骨架，確保了角色、場景在整個故事中的長期一致性。
2. 鏡頭內部有 “航向”：一個鏡頭的起始幀和結束幀，明確定義了該鏡頭內部的動態變化，無論是人物走位還是鏡頭推拉，都有了清晰的起點和終點。
3. 鏡頭銜接有 “電影感”：上一個鏡頭的 “結束幀” 和下一個鏡頭的 “起始幀” 之間的關系，直接對 “轉場” 這一電影語言進行建模，讓 “剪輯點” 變得平滑而有邏輯。

正是基于這一觀察，設計了全新的多鏡頭敘事生成工作流 ——STAGE(SToryboard-AnchoredGEneration)。

三、技術核心：STEP2，一個懂得 “拍分鏡” 的 AI 導演

STAGE 工作流的核心，是我們提出的起始 - 結束幀對預測模型 ——STEP2 (STart-End frame-Pair Prediction model)。它就像一位 AI 導演，能將文字劇本精準地翻譯成一系列可執行的視覺分鏡。

為了讓這位 “AI 導演” 足夠專業，我們為它配備了三大法寶：

1. 多鏡頭記憶包 (Multi-shot Memory Pack)：過目不忘，確保角色不 “穿越”

為了在生成第 N 個鏡頭時還記得第一個鏡頭里主角長什么樣，我們設計了一個高效的記憶壓縮機制。它能將所有歷史鏡頭的視覺信息壓縮成一個緊湊的 “記憶包”，在保證長期一致性的同時，避免了巨大的計算開銷。

2. 雙重編碼策略 (Dual-Encoding Strategy)：運鏡連貫，確保動作不 “瞬移”

為了保證單個鏡頭內部的邏輯自洽（例如，一個平滑的推鏡頭），我們將一個鏡頭的起始幀和結束幀 “捆綁” 在一起進行聯合編碼。這讓模型在生成之初就對整個鏡頭的動態了然于胸。

3. 兩階段訓練方案 (Two-stage Training Scheme)：從 “會拍” 到 “拍得好”

光會拍還不夠，還要有 “品味”。我們借鑒了電影學院的教學模式：第一階段（SFT 監督微調）：先讓模型在海量的電影片段上學習基礎的鏡頭語言，做到 “會拍”。第二階段（DPO 偏好對齊）：再用人類精選的 “好 / 壞” 鏡頭轉場案例進行 “閱片” 訓練，讓模型學會什么是 “高級的、電影感的” 轉場，最終實現 “拍得好”。

四、數據基石：讓模型學會 “分鏡” 的起點

要讓 AI 學會電影語言，一本好的 “教科書” 必不可少。然而，現有數據集都只關注單幀，無法滿足我們對 “分鏡” 和 “轉場” 的訓練需求。為此，我們構建了大規模的 ConStoryBoard 數據集。我們從公開電影中篩選了 10 萬個高質量多鏡頭片段，并為每個鏡頭都進行了精細化標注，包括：起始 - 結束幀對，故事進展描述，鏡頭尺度、機位、運鏡等電影學屬性。更進一步，我們還從中人工挑選出最優的轉場案例，構建了包含人類偏好的子集 ConStoryBoard-HP，專門用于第二階段的 “品味” 訓練。

五、實驗結果：不僅更連貫，還更懂 “電影感”

我們將 STAGE 與多種 SOTA 多鏡頭生成方法進行了全面對比。

視覺對比

在 “火車上的女人” 這一主題下，其他方法出現了場景不一致（CineTrans）、風格失真（StoryDiffusion）、動作斷裂（VideoGen-of-Thought）等問題。STAGE 則完美保持了人物和環境的一致性，并實現了流暢的敘事。

定量指標

動態展示

六、意義與展望：讓 AI 學會用鏡頭講故事

這項工作傳遞了一個清晰的信號：多鏡頭視頻生成的未來，在于結構化的敘事控制，而不僅僅是像素的堆砌。通過引入 “分鏡” 這一電影工業的核心概念，STAGE 為 AI 視頻生成開辟了一條從 “技術炫技” 邁向 “藝術創作” 的新路徑。它讓模型不再是一個只會畫畫的 “美工”，而更像一個懂得如何用鏡頭組織故事的 “導演”。

我們相信，當 AI 真正開始學會 “拍電影”，而不僅僅是 “做動圖” 時，一個由 AI 輔助創作的、真正屬于每個人的電影時代，才算真正到來。

更多細節請參閱原論文。