AI guides

世界模型评测的最大盲区,被新基准MemoBench捅破了

By 机器之心0 viewsSource: 机器之心
世界模型评测的最大盲区,被新基准MemoBench捅破了

来自哈佛大学、MIT、IBM、波士顿大学、谷歌、JHU、CMU 和 Kempner Institute 的研究者提出了一个新的诊断性基准:MemoBench。这是首个面向动态环境的「消失-重现」世界建模评测基准,并已被计算机视觉顶会 ECCV 2026 接收。其一作 Haoyu Chen 为哈佛大学计算科学与工程专业一年级硕士生,师从哈佛大学计算机科学助理教授 Yilun Du。

The full text has not been translated yet. The Chinese original is shown below.

世界模型,真的拥有记忆吗?

如果你正把一杯水倒进玻璃瓶,然后扭头看了一眼窗外,再转回来,瓶子里的水位应该已经发生变化。这是任何一个三岁孩子都具备的常识:东西不在眼前,不代表它消失了,更不代表它会停止变化。心理学把这种能力叫做「物体恒存(object permanence)」,是人类最早建立起来的认知能力之一。

但对今天最先进的视频生成模型来说,这个任务却不简单。

过去一年里,「世界模型」成为视频生成领域最热的关键词之一。从 Sora 到国产的多款视频大模型,厂商们争相强调自己的产品不只是「生成好看的画面」,而是在「模拟真实世界的运行规律」。其中,世界模型是否具备类似人类「物体恒存」的认知能力,正成为衡量建模水平的核心标尺:当物体暂时离开视野、并在遮挡期间持续发生物理变化时,模型能否记住它的身份、推演它的状态,并在它重新出现时准确还原?

长期以来,业界评测始终未能精准检验这一能力:绝大多数基准只考核物体持续可见时的帧间一致性;少数涉及遮挡的测试,也多针对静态场景(物体消失期间环境没有任何变化),无法验证模型对动态世界的记忆与推演能力。

针对这个问题,来自哈佛大学、MIT、IBM、波士顿大学、谷歌、JHU、CMU 和 Kempner Institute 的研究者提出了一个新的诊断性基准:MemoBench。这是首个面向动态环境的「消失-重现」世界建模评测基准,并已被计算机视觉顶会 ECCV 2026 接收。其一作 Haoyu Chen 为哈佛大学计算科学与工程专业一年级硕士生,师从哈佛大学计算机科学助理教授 Yilun Du。

文章配图

  • 论文标题:MemoBench: Benchmarking World Modeling in Dynamically Changing Environments
  • 论文地址:https://arxiv.org/abs/2606.27537
  • 项目主页:https://memobench-team.github.io/
  • 代码:https://github.com/MemoBench-Team/MemoBench
  • 数据集:https://huggingface.co/datasets/tonyc54/MemoBench

该基准以 360 段高质量真值视频为基础,搭配自动化指标与语义化 VQA 评估体系,系统测试了 10 个主流世界生成模型,清晰揭示了当前技术在记忆一致性上的核心短板:没有一个的「物体重现得分」超过 0.6(满分 1)。也就是说,没有一个模型能稳定地让消失的物体「记得住、认得出、变得对」。

这个结果也让研究团队给出了一个非常直接的核心判断:现有视频生成模型即使能生成视觉上完全连贯的画面,也几乎无法在物体重新出现时,正确恢复它在「消失期间」本该经历的状态变化。这一结论清晰揭示了「生成画面逼真」与「真正理解世界」之间的显著差距,也为下一代世界模型的研发提供了可量化的诊断标尺。

「记住」世界:世界模型的必答题

近年来,视频生成技术快速迭代,模型已经能够生成高分辨率、时序连贯的动态画面,也被越来越多地视作「世界模拟器」,为自动驾驶、机器人操纵、具身智能等场景提供环境推演能力。

但真实世界的运转,不会因视线离开而停止:冰块会持续融化、火焰会持续燃烧、行人会持续行走、触碰液体的纸张会被持续浸染……

文章配图

MemoBench 数据集中一个来自真实世界的数据样本

一个真正合格的世界模型,应当具备类似人类「物体恒存」的认知能力:即便物体暂时离开视野,也能维持对它的身份、位置与状态的表征,并正确推演其在遮挡期间的变化。

这恰恰是当前评测体系的核心盲区。现有的视频生成基准大多只考核物体全程可见时的帧间一致性;少数涉及遮挡的测试,也多针对静态场景(物体消失期间环境没有任何变化)。因此只需还原原有外观即可通过测试,完全无法验证模型对动态世界的记忆与推演能力。

我们始终无法确认:当物体重新出现在画面中时,模型是真的「记住并更新了世界状态」,还是仅仅「重新生成了一个看起来合理的画面」?

MemoBench:补齐世界建模评测的新基准

核心设计:「可见-消失-重现」三段式范式

现有的视频生成基准(如 VBench、WorldScore 等)主要评估视觉质量、物理一致性或相机的运动控制。它们几乎只评估「持续出现在画面中」的物体,如果偶尔有物体移出画面,现有基准也多是在静态场景下进行评估,缺乏对遮挡期间动态变化的考察。

为了回答这个问题,MemoBench 建立了Visible–Disappear–Reappear(可见-消失-重现,可缩写为V-D-R)的核心评测范式,用简洁的三段式结构,精准探测模型是否维持了对物体的持久状态表征。

每一个测试样本都严格遵循统一的物理逻辑:

  1. 可见(Visible):目标物体完整呈现在视野内,并且正处于持续的物理变化过程中,比如可能是正在行走的人物、正在融化的冰块、正在倾倒的粉末。模型可以观察到物体的初始状态与变化趋势。
  2. 消失(Disappear):相机通过平移、转头、U 型转弯等运动完全移开视线,目标物体彻底离开视野。在此期间,物理过程不会停止,会按照自然规律持续演化。
  3. 重现(Reappear):相机转回对应区域,目标物体重新进入画面。模型需要准确还原物体更新后的状态,包括位置、形态、物理变化进度等,与真实演化结果对齐。

文章配图

MemoBench 概述。第 1–2 行展示了一段合成的「可见–消失–重现」序列及其相机轨迹;第 3–4 行展示了一段真实世界的状态变化序列(粉末倾倒)。MemoBench 包含 196 段合成剪辑和 164 段真实世界剪辑,通过自动化指标和 LLM 评判的 VQA 进行评估。

这个看起来简单的范式,考验的是世界模型的核心能力:模型不能只是在做逐帧的画面生成,而是必须在视野外维护一个持续演化的世界状态。

它同时考验视觉记忆、状态更新与动态推演能力,是对「真实世界建模水平」的直接检验。

数据构建:合成场景与真实素材双管齐下

基于这一范式,MemoBench 构建了合成与真实世界两条并行的数据流水线,共包含360 段1920×1080 分辨率的高质量 Ground-truth 视频,配上完整的几何标注与评测工具:

  • 合成子集(196 段):在虚幻引擎 5 中渲染生成,覆盖 5 大类环境、14 个子场景,包含 U 型转弯、前进移动、头部转动、垂直运动等多种复杂相机轨迹。每段视频都附带逐帧 RGB 图、度量深度图、相机内参与相机位姿,能够支撑几何层面的精准评估,重点测试大视角变化下的空间记忆能力。

文章配图

合成数据:由虚幻引擎 5 渲染的 5 个类别下的 14 个场景。

  • 真实世界子集(164 段):在可控室内环境中实拍完成,覆盖 7 大类、30 种物理状态变化过程,包括溶解、燃烧热变、扩散吸收、化学反应、粘性流动、泡沫演化、力学形变等。这些依赖粘度、弹性、热传导等真实材质属性的过程,难以被游戏引擎精准模拟,专门用于检验模型对真实物理动态的记忆准确性。

文章配图

真实世界数据:在受控室内环境中拍摄,涵盖 7 大类别的 30 种物理状态变化过程

所有样本都经过人工标注,精准标记了物体「完全消失」和「完全重现」两个关键帧,用以精确划分可见(V)、消失(D)、重现(R)三个阶段,作为后续所有评测指标计算的基础。

文章配图

MemoBench 的数据整编流程

怎么打分:自动化指标 + VQA 双线评测

MemoBench 设计了自动化量化指标 + VQA 语义评估两套互补的评估方案,既看底层像素保真,也看高层语义正确,避免单一指标的片面性。

自动化指标覆盖三大维度,所有核心分数均归一化到 0-100 区间,考验世界模型的:

  • 通用视频质量:包含视觉质量、运动平滑度、物体身份一致性、3D 几何一致性四项,衡量基础生成能力;
  • 记忆专属指标:这是评测的核心。其中物体重现分数(ORS)通过 SAM-3 文本驱动分割模型,检测重现阶段目标物体的存在性与置信度,直接衡量模型能否让目标「正确回来」;同时包含分阶段的像素级保真度(PSNR、SSIM、LPIPS)与相机可控性指标,可精准定位性能退化的具体环节。
  • 提示保真度:通过 ImageReward 衡量生成内容与文本提示的匹配程度。

VQA 语义评估则聚焦自动化指标难以捕捉的高层语义合理性,覆盖四个诊断维度:

  1. 指令遵循:是否准确执行提示中的相机运动、物体轨迹与事件顺序;
  2. 物体与背景一致性:前后景元素是否存在形态漂移、身份切换、场景突变;
  3. 记忆连续性:物体消失期间,模型是否维持了它的身份、轨迹与状态,是与「消失-重现」范式最直接对应的维度;
  4. 物理合理性:运动、重力、光影阴影是否符合物理规律。

文章配图

VQA 评估流程。大语言模型根据提示词和首帧生成 24 个极性平衡的是/否问题(每个维度 6 个)。问题通过真实标注和失败片段评估进行筛选,再由人工审核验证。最终问题库应用于每个生成的视频,从而得出四个诊断维度各自的通过率。

为了保证评估的可靠性,所有问题都经过真值过滤、失败案例过滤与人工交叉验证三轮筛选。最终人工与 VLM 判断的整体一致性达 92.9%,Cohen's κ 系数为 0.85,评估结果具备很高的可信度。

当前世界模型的真实水平如何?

研究团队在 MemoBench 上测试了 10 个当前主流的世界生成模型,涵盖相机可控图生视频(CI2V)、显式 3D 视角合成、普通图生视频(I2V)三类技术路线,得到了一系列关键发现,清晰呈现了当前世界建模技术的能力边界。

MemoBench 给出的核心结论是:当前没有任何一个模型能可靠完成「消失-重现」的记忆任务。

所有被测模型的物体重现分数(ORS)均未超过 0.6;在真正执行相机轨迹、让物体实际离开画面的模型中,「记忆连续性」维度的语义得分最高也只有 55.6 分(满分 100,57.0 的 LTX-Video 因相机不动存在虚高问题);也就是说,即便是最强的模型,针对记忆的提问也只能答对一半多一点。

文章配图

在 MemoBench 上对 10 个世界生成模型的自动评估。模型分为 CI2V、基于 3D 和 I2V 三类。↑:越高越好;↓:越低越好。加粗:最佳;下划线:次佳。

文章配图

在 MemoBench 上跨四个语义维度的 VQA 评估。每个维度评分范围为 0–100(↑:越高越好)。模型分为 CI2V、基于 3D 和 I2V 三类。粗体:最佳;下划线:次佳。

一旦物体离开画面,模型的「记忆」就开始快速退化。重现时的内容要么直接消失,要么被随机幻觉替代,要么外观还在、状态却完全不对。

研究团队把这些失败系统整理成六类:物体凭空消失、身份悄悄换人、状态被重置回初始、位置突然跳变、背景被幻觉填充、相机轨迹发生漂移。

文章配图

LingBot-World 的失败分类。这里报告的计数并非互斥,因为一个生成的序列可能表现出多种失败类型。

其中,合成场景里最常见的失败是「背景幻觉」,即物体还在,但身后的世界已经面目全非;真实场景里最常见的则是「身份漂移」,即同一个物体,消失前后的样子判若两物。

这个大盘结论之外,评测还揭示了几组值得深入讨论的对照。

发现 1:「相机不动」会虚高一致性分数,传统指标存在盲区

最反直觉的发现出现在普通图生视频模型(I2V)身上。

LTX-Video 没有任何相机控制能力,但它在运动平滑度、3D 几何一致性、物体身份一致性三项指标上全部排名第一,物体重现分数也达到了 0.330。

单看数字,成绩相当体面,但研究团队发现,这份「好成绩」的来源非常可疑:LTX-Video 几乎不移动相机,目标物体从头到尾留在画面里,「物体从未消失」自然就「物体从未失忆」。它的高分是用「回避挑战」换来的,而非真正的记忆能力。

文章配图

不同模型在冲泡咖啡任务上的生成表现

这暴露了一个重要的评测漏洞:传统视频质量指标无法区分「在真实视角变化中保持一致」和「靠静止镜头绕开一切挑战」这两种本质不同的情况。

MemoBench 专门设计了「相机可控性」和「指令遵循」两个维度来识别这种现象。而在这两项上,LTX-Video 的得分排到了最后一档。

发现 2:能控制相机,不代表记得住物体

既然静止镜头会「作弊」,那支持相机条件控制的模型,表现是否就一定更好?

答案是:不一定,而且差距相当悬殊。

同样接受相机轨迹作为输入,五个 CI2V 模型的物体重现分数从 0.266 到 0.582 不等,跨度超过一倍。HunyuanWorldPlay 以 0.582 的 ORS 领跑 CI2V 阵营,而 HunyuanGameCraft 和 FantasyWorld 的 ORS 只有 0.266 和 0.276;后两者的视觉画质评分反而更高。

这组数据说明:相机能跟着轨迹走和模型脑子里是否维护着「走开之前那个世界的状态」,是两件独立的事。镜头控制得再精准,也只是「知道该看哪里」,不是「记住了那里之前发生了什么」。

物体恒存不会作为相机条件生成的副产品自然涌现,它必须被显式地纳入训练目标。

发现 3:几何精确和画面好看,往往不可兼得

3D 类模型提供了最鲜明的能力分化样本。

  • Stable Virtual Camera 直接以显式相机位姿驱动渲染,相机轨迹控制最为精准,像素级保真度在所有模型中也最高;但它的视觉质量评分偏低,画面中容易出现模糊边缘、拼接缝和深度修补错误,VQA 语义评分同样靠后。
  • Matrix-Game 2.0 则完全相反:画面最锐利、视觉质量最高,但相机轨迹经常跑偏;同一段轨迹指令,它生成的视角和真实路径偏差巨大,导致像素保真度和 VQA 得分都落入低位。

这两个模型同时站在评测榜单的两个极端,共同说明一件事:几何准确和画面自然度,在当前技术框架下还没有对齐。用画质评分去推断几何精度,或者反过来,都会得出错误结论。

这也是 MemoBench 坚持多维度评测的核心原因:用任何单一指标,你都只能看见这张地图的一角。

发现 4:扩大模型,不如给它看第一帧

论文还披露了一项消融实验,结论相当出人意料。

研究团队对 Wan2.2 做了两组对照:一组把模型参数量从 5B 扩到 14B,另一组保持 5B 参数不变,但额外提供「可见阶段的第一帧」作为图像条件输入。

结果显示,加入第一帧条件使 PSNR 提升了约 4.2 dB,感知距离(LPIPS)下降了 0.20;而参数扩大近三倍,对这两项指标的改善微乎其微。也就是说,让模型清楚地「看见」物体的初始状态,比单纯堆参数量对记忆任务有用得多。

文章配图

Wan2.2 初始状态条件化与骨干网络容量消融实验结果。基于 50 个片段。「V-frame」指将可见阶段的首帧作为图像条件。

这一发现指向了一个重要的设计方向:与其追求更大的模型,不如在「初始状态如何被编码和保持」这件事上下功夫。

十个模型同台竞技,四组发现从不同侧面共同指向同一个结论:让画面看起来连贯和真正记住世界的状态,是两件截然不同的事情。而后者才是世界模型走向真实应用必须跨越的核心门槛。

共建世界模型评测标尺

MemoBench 揭开的,不只是当前技术的短板,也是一个长期被忽视的研究方向「动态遮挡下的视觉记忆」第一次有了可量化、可对比、可追踪的评测基础。

对于研究者而言,这套体系在指出问题的同时,也暗示了改进路径:持久状态表征的显式建模、以记忆为目标的训练策略、对初始状态感知的强化设计,都是接下来值得深耕的方向。

目前,论文、代码、数据集与公开榜单均已开源,研究者可以直接使用评测工具测试自己的模型,并将结果提交至排行榜,与社区共享进展。

文章配图

  • 榜单地址:https://huggingface.co/spaces/tonyc54/MemoBench_Leaderboard

从「生成好看的视频」到「维护一个真实的世界」,这中间隔着的,正是 MemoBench 正在度量的那段距离。它不一定短,但现在至少有了刻度。

文章来自于微信公众号 “机器之心”,作者 “机器之心”

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)