AI news

双榜第一背后,他们想做的不是下一个世界模型

By 机器之心4 viewsSource: 机器之心
双榜第一背后,他们想做的不是下一个世界模型

Murea Labs的Murea-InWorld通过Murea-Mind协同Murea-Pro和Murea-Fast生成实时互动音视频,Murea-Pro以81.13分位列WBench Full-289第一,Murea-Fast以64.98分居OpenS2V-Eval参评开源模型第一。

The full text has not been translated yet. The Chinese original is shown below.

今年交互视频世界模型成了大热门。

阿里 HappyOyster、蚂蚁 LingBot、生数科技 Vidu S2、爱诗科技 PixVerse R2 等接连亮相。

虽然技术路线各有侧重,但各家目标高度一致,都想让 AI 视频能实时响应用户操作,支持连续交互,生成一个可以自由探索的虚拟世界。

当然,我们对距离真正开放、长期运行的生成世界一直抱有保守期待,毕竟真正落地有不少技术与工程难题。

但现实的进展,往往快过预期。

最近,我们在交互视频世界模型评测 WBench 的榜首,看到了一个新名字:Murea-Pro。

它在多轮交互视频评测 WBench Full-289 中,以 81.1 分拿下第一。其中拉开差距最大的交互能力和物理合理性,分别取得 82.6 和 74.4 的高分。

文章配图

Wbench 链接:https://meituan-longcat.github.io/WBench/#leaderboard

生成速度方面非常亮眼,RTX PRO 6000 可以做到 3.6 s 生成 5s 长度视频, RTF < 1 (Real-Time Factor,实时因子),处理速度快于音频播放速度,实现了实时视频。

我们在该模型官网,发现它还有一个轻量型的开源版本:Murea-Fast。

这个「轻量型」并不逊色,在参考生视频评测 OpenS2V-Eval 中,以 64.98 分位居参评开源模型第一,其 NexusScore 达 51.66,在参考还原能力上同样排名第一。

两项成绩,让这组模型进入了我们的视野,在认真拆解了它的技术报告以及经过实测后,发现很多有意思的地方:这个团队的野心,不是下一个世界模型,而是更好玩、更有想象空间、能更快落地的 ——实时互动内容模型。

文章配图

脱离「看视频」的逻辑,这更像在一个 AI 生成的世界里真正「玩」起来。

技术解读:Murea-InWorld 如何维持一个持续演化的世界?

Murea-InWorld 采用两层协同架构。

每轮交互开始时,上层的Murea-Mind作为模型大脑,会读取当前世界状态、用户指令和上一段视频的结束画面,规划下一个事件,充当编剧和导演和核心角色;下层的 Murea-Pro 和 Murea-Fast负责执行生成相应的画面与声音;生成结果随后交给大脑模型检查,确认发生的变化再写回世界状态,成为下一轮交互的依据。

这一过程可以概括为「状态、行动、生成、观测」。

这种双层协作,可以让模型避免出现生成虽快,但内容无意义的情况,真正做到让用户用自然语言来持续改变一个有记忆、有声音、可以回档分支、支持多人参与的虚拟世界。

文章配图

  • 技术报告链接:https://murea.ai/page/paper/InWorld-technical-report.pdf
  • GitHub链接:https://github.com/Murea-Labs/InWorld
  • Hugging Face链接:https://huggingface.co/MureaLabs/InWorld
  • 官网链接:https://murea.ai/

让这套闭环稳定运转的关键,是持续更新的世界状态。系统在视频模型之外维护一套「账本」,人物和场景的参考图、声音、固定描述被保存为资产;人物位置、服装、情绪、随身物品,以及天气、光线等信息则持续更新。固定身份与动态状态分开管理,可以降低角色外观和剧情变化互相干扰的概率。

用户撤销操作时,系统恢复生成前的状态快照;重新选择则创建并行分支,原有视频与剧情继续保留。多人模式下,每名玩家的输入先转换为结构化动作,再由系统统一编排进同一画面。

文章配图

World Agent 总览。上层保存世界记忆;中层把用户指令转换成生成条件并保存片段;下层回看生成画面,为后续规划和部分状态更新提供依据。

世界状态确定之后,Murea-Pro 和 Murea-Fast 负责生成画面与声音,其核心机制是Omni-Reference Generation。人物、动物、物品和场景参考会被分别编码为干净的条件 latent,并获得独立编号。参考素材不参与加噪和去噪,主要作用是稳定人物身份和外观。

文章配图

左侧是输入参考,右侧是同一生成视频的连续采样帧。可重点看人物、猫、布料与庭院的组合,以及多人同框、写实和风格化场景中的实体对应。

视频与音频在同一个 DiT 中联合生成。受控注意力机制先让参考信息作用于各自模态,再通过正片中的视频和音频 token 建立联系。训练数据使用结构化描述,明确每个参考对应谁、由谁说出哪句台词,以及动作和镜头发生的时间顺序。

文章配图

音视频生成框架总览。模型能力的三层结构。上方 (a) 说明参考图、可选声音参考和文本如何共同控制音视频生成;左下 (b) 说明 MeanFlow → DMD 两阶段蒸馏;右下 (c) 说明带有限历史的流式续写

连续生成采用有限历史窗口策略。视频侧主要保留前一个片段,音频侧保存更长的上下文,用来衔接未说完的句子和人物语气。训练时,系统会给历史内容加入噪声或 latent 扰动,使模型提前适应前序片段存在瑕疵的情况。

低延迟则主要依靠少步蒸馏与系统优化。Murea-Pro 经过 50 步到 4 步蒸馏及系统优化后,在 8 张 H20 上将 5 秒有声音视频的生成时间由 231.6 秒缩短至 6.96 秒,端到端累计加速 33.3 倍。

换用 RTX PRO 6000 Blackwell,同一套管线生成 5 秒有声音视频只需 3.6 秒。按照「生成耗时 / 成片时长」计算,其实时因子RTF 约为 0.71。

RTF 低于 1,说明模型生成速度快于视频播放速度。换句话说,在该硬件和测试条件下,Murea-Pro已经达到实时生成的速度门槛。

文章配图

从左到右看延迟,从上到下看累计优化。8 张 H20 上,生成 5 秒音视频的延迟由 231.6 秒降至 6.96 秒,累计加速 33.3 倍;其中 50 → 4 次模型评估先将延迟降至 23.2 秒,后续优化继续降低开销。每一行都保留此前优化。

评测结果印证了两款模型各自的能力侧重。

在 WBench Full-289 中,Murea-Pro 以 81.13 分排名第一,其交互能力为 82.60 分,物理合理性为 74.42 分,分别领先第二名 9.52 分和 5.23 分。

文章配图

具体来看,Murea-Pro 在事件编辑、角色动作和视角切换上表现突出。其中,事件编辑得分 90.92,角色动作得分 87.04。导航得分为 71.79,是四类交互任务中相对较弱的一项。

画面质量方面,Murea-Pro 得到 79.97 分,整体处于较高水平。

文章配图

Murea-Fast 的优势集中在多参考生成,在 OpenS2V-Eval 中获得 64.98 分,位居参评开源模型第一,其 NexusScore 达到 51.66,为被测参考生视频系统最高。在扩展评测 OS2V-Pro 中,Murea-Fast 的逐参考保真度为 46.0,排名第一;片内身份一致性达到 89.0,并列第一。

文章配图

由此可见,Murea-Pro 擅长多轮指令执行和物理因果,Murea-Fast 在多参考身份保持方面表现突出。

一手实测:AI 能否把一段故事持续演下去?

当然除了这些成绩和技术原理,我们更想知道,在当下「互动」还普遍是预制的阶段,真的能实现让用户在 AI 世界里,「玩」起来吗?

我们抢先体验了一把 Murea-InWorld。

系统随机生成一个科幻世界,自动设定人物、场景和故事主线。

故事很简单,但里面很多细节值得关注。

文章配图

首先是连续性和一致性上,主角手里的平板道具在第一段视频后,已经被面板记录,从而在后续十几轮的交互里,一直是主角拿着,也一直是这个平板。

普通视频续写主要依靠此前的画面维持连续性,角色拿过什么、物品现在归谁,并不一定有明确记录。一旦镜头切换,这些信息就可能丢失。

但 Murea-InWorld 可以在连续生成十几段视频,人物外貌、随身道具、背景环境依然保持稳定。

文章配图

其次是自然语言的即时生成,每轮视频结束后,Murea-InWorld 都会根据当前剧情推荐后续行动,选一项系统即可自动推进剧情和镜头,无需逐段编写详细提示词。

我们还可以临时改变剧情,直接输入:「画面突然出现了一只小猫。」

系统随即为它创建独立资产,下一段视频里,一只三花猫出现在控制室。此后镜头切换,它的外观依然保持一致,没有因为场景变化而突然消失。

而且小猫出现的过程中,剧情和台词会根据此刻场景(空间站)以及主角动作来给出自然的衔接,保证了剧情体验的一致性。

文章配图

再一条指令让小猫绕着主角转一圈,系统也正确识别了动作主体和目标,两个角色的动作关系也没有出现混淆。

文章配图

在这 15 轮交互里,Murea-InWorld 给人最直观的感受是,故事没有随着视频片段增加而「失忆」。主角手中的道具不会无故消失,临时加入的新角色也能进入后续剧情,玩家还可以随时介入并改变走向。

目前来看,Murea-InWorld 已经让连续生成有了接近实时互动的感觉。

生成式互动世界,能打开多大的市场?

生成式互动世界最直接的价值,在于将内容生成放进用户参与的过程之中。

传统互动内容通常需要提前设计情节、制作素材并提前制作大量分支,更偏向一种「预制」。而 Murea-InWorld 系统利用 Murea-Mind 的大脑能力,可以让玩家用自然语言随时改变世界走向,这是一套新的实时互动内容生产范式。

这套范式真正做到了「让一千个玩家,玩出一千个哈姆雷特」,它可以延伸进游戏、互动叙事、虚拟角色、在线娱乐等众多场景。

多家机构估算,相关市场合计已达百亿美元量级,叠加 AI 陪伴等相邻赛道的增速效应,这一数字有望在 2030 年前后扩展至 500 亿美元。若高质量互动内容渗透率达到全球内容娱乐市场的 10%,对应的长期规模更是将突破千亿美元。

不过,市场空间再大,最终还得靠产品体验说话。从 Murea-InWorld 展现出的模型能力与系统完成度来看,Murea Labs 团队已在构建实时互动内容模型的方向上迈出了值得关注的一步。

接下来,就看他们能否在游戏、影视和互动娱乐等场景中,持续将技术潜力转化为真实体验,找到规模化落地的机会。令人期待的生成式世界未来,就在不远处。

相关链接:

murea.ai 链接:https://murea.ai/

WBench 链接:https://meituan-longcat.github.io/WBench/#leaderboard

技术报告链接:https://murea.ai/page/paper/InWorld-technical-report.pdf

文章来自于微信公众号 “机器之心”,作者 “机器之心”

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)