AI guides

CVPR 2026 | 从「单帧」到「分镜」:STAGE重新定义AI电影叙事

By 机器之心1 viewsSource: 机器之心
CVPR 2026 | 从「单帧」到「分镜」:STAGE重新定义AI电影叙事

目前,该论文已录用至 CVPR 2026,相关数据集和模型训练训练和推理代码将逐步开源:究其原因,一个好故事并非一堆漂亮镜头的简单拼接,而是一个有结构、有逻辑的叙事整体。

The full text has not been translated yet. The Chinese original is shown below.

从 Sora,可灵到 seedance 2.0,AI 视频生成的浪潮正席卷而来,其惊人的视觉质量让人叹为观止。然而,当我们尝试用它创作一个真正的 “故事” 时,一个普遍的瓶颈浮出水面:连贯性。

为了攻克这一难题,我们提出了 STAGE,一个以 “电影分镜” 为核心的全新叙事生成框架。它不再预测孤立的关键帧,而是直接生成每个镜头的 “起始 - 结束帧对”,为多镜头视频的创作提供了前所未有的结构化控制力。

文章配图

目前,该论文已录用至CVPR 2026,相关数据集和模型训练训练和推理代码将逐步开源:

  • 论文标题:STAGE: Storyboard-Anchored Generation for Cinematic Multi-shot Narrative
  • 作者单位:北京邮电大学、北京大学、北京智源人工智能研究院
  • 代码链接:https://github.com/escapistmost/Storyboard-Anchored-Generation

一、前言:AI 视频生成,从 “做动图” 到 “拍电影” 还差多远?

究其原因,一个好故事并非一堆漂亮镜头的简单拼接,而是一个有结构、有逻辑的叙事整体。

目前,主流的多镜头视频生成方法大致分为两派:

  1. 端到端 “一镜到底”:计算成本极高,且过程像 “开盲盒”,难以控制,稍有不慎就满盘皆输。
  2. 关键帧 “分步走”:先生成几个关键画面作为 “路标”,再让视频模型去 “脑补” 中间过程。这种方法更灵活,但问题也随之而来。

这些方法生成的视频,常常在镜头切换时出现 “灾难性” 的断裂:前一秒主角还穿着红衣,后一秒就换了颜色;或者一个流畅的开箱动作,在特写镜头里却变成了 “瞬移”(如下图中的戒指盒)。这些 “穿帮镜头” 的根源在于,模型只知道每个镜头 “大概长啥样”,却不懂得镜头与镜头之间该如何 “衔接”。

文章配图

现有方法(上)在镜头切换时常出现动作不连贯、物体不一致的问题。STAGE(下)通过预测结构化的 “分镜”,实现了电影级的平滑过渡。

问题的本质是:我们一直在让 AI “画单帧”,而不是 “拍分镜”。一个真正的导演,脑海里不仅有高潮画面,更有每个镜头的起与承、转与合。

二、核心洞察:用 “起始 - 结束帧对” 重构叙事骨架

多镜头叙事的关键,不应是几个孤立的、稀疏的关键帧,而应是一个结构化的电影分镜 (Storyboard)。基于此,我们提出了一个创新性的想法:

将关键帧生成任务,重新定义为 “起始 - 结束帧对 (Start-End Frame Pairs)” 的预测任务。

也就是说,对于每一个镜头,我们不再只预测一个代表性的画面,而是直接预测出它的 “第一帧” 和 “最后一帧”。这个看似简单的改变,却带来了三大优势:

  1. 长程叙事有 “骨架”:所有镜头的起始 / 结束帧串联起来,形成了一个稳固的视觉骨架,确保了角色、场景在整个故事中的长期一致性。
  2. 镜头内部有 “航向”:一个镜头的起始帧和结束帧,明确定义了该镜头内部的动态变化,无论是人物走位还是镜头推拉,都有了清晰的起点和终点。
  3. 镜头衔接有 “电影感”:上一个镜头的 “结束帧” 和下一个镜头的 “起始帧” 之间的关系,直接对 “转场” 这一电影语言进行建模,让 “剪辑点” 变得平滑而有逻辑。

正是基于这一观察,设计了全新的多镜头叙事生成工作流 ——STAGE(SToryboard-AnchoredGEneration)。

三、技术核心:STEP2,一个懂得 “拍分镜” 的 AI 导演

STAGE 工作流的核心,是我们提出的起始 - 结束帧对预测模型 ——STEP2 (STart-End frame-Pair Prediction model)。它就像一位 AI 导演,能将文字剧本精准地翻译成一系列可执行的视觉分镜。

文章配图

为了让这位 “AI 导演” 足够专业,我们为它配备了三大法宝:

1. 多镜头记忆包 (Multi-shot Memory Pack):过目不忘,确保角色不 “穿越”

为了在生成第 N 个镜头时还记得第一个镜头里主角长什么样,我们设计了一个高效的记忆压缩机制。它能将所有历史镜头的视觉信息压缩成一个紧凑的 “记忆包”,在保证长期一致性的同时,避免了巨大的计算开销。

2. 双重编码策略 (Dual-Encoding Strategy):运镜连贯,确保动作不 “瞬移”

为了保证单个镜头内部的逻辑自洽(例如,一个平滑的推镜头),我们将一个镜头的起始帧和结束帧 “捆绑” 在一起进行联合编码。这让模型在生成之初就对整个镜头的动态了然于胸。

3. 两阶段训练方案 (Two-stage Training Scheme):从 “会拍” 到 “拍得好”

光会拍还不够,还要有 “品味”。我们借鉴了电影学院的教学模式:第一阶段(SFT 监督微调):先让模型在海量的电影片段上学习基础的镜头语言,做到 “会拍”。第二阶段(DPO 偏好对齐):再用人类精选的 “好 / 坏” 镜头转场案例进行 “阅片” 训练,让模型学会什么是 “高级的、电影感的” 转场,最终实现 “拍得好”。

四、数据基石:让模型学会 “分镜” 的起点

要让 AI 学会电影语言,一本好的 “教科书” 必不可少。然而,现有数据集都只关注单帧,无法满足我们对 “分镜” 和 “转场” 的训练需求。为此,我们构建了大规模的 ConStoryBoard 数据集。我们从公开电影中筛选了 10 万个高质量多镜头片段,并为每个镜头都进行了精细化标注,包括:起始 - 结束帧对,故事进展描述,镜头尺度、机位、运镜等电影学属性。更进一步,我们还从中人工挑选出最优的转场案例,构建了包含人类偏好的子集 ConStoryBoard-HP,专门用于第二阶段的 “品味” 训练。

五、实验结果:不仅更连贯,还更懂 “电影感”

我们将 STAGE 与多种 SOTA 多镜头生成方法进行了全面对比。

视觉对比

文章配图

在 “火车上的女人” 这一主题下,其他方法出现了场景不一致(CineTrans)、风格失真(StoryDiffusion)、动作断裂(VideoGen-of-Thought)等问题。STAGE 则完美保持了人物和环境的一致性,并实现了流畅的叙事。

定量指标

文章配图

动态展示

文章配图

文章配图

文章配图

文章配图

六、意义与展望:让 AI 学会用镜头讲故事

这项工作传递了一个清晰的信号:多镜头视频生成的未来,在于结构化的叙事控制,而不仅仅是像素的堆砌。通过引入 “分镜” 这一电影工业的核心概念,STAGE 为 AI 视频生成开辟了一条从 “技术炫技” 迈向 “艺术创作” 的新路径。它让模型不再是一个只会画画的 “美工”,而更像一个懂得如何用镜头组织故事的 “导演”。

我们相信,当 AI 真正开始学会 “拍电影”,而不仅仅是 “做动图” 时,一个由 AI 辅助创作的、真正属于每个人的电影时代,才算真正到来。

更多细节请参阅原论文。

文章来自于微信公众号 “机器之心”,作者 “机器之心”

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)