AI news

Frontier3DBench 测量智能体制作 3D 物体、场景与开放世界的能力

By 机器之心1 viewsSource: 机器之心
Frontier3DBench 测量智能体制作 3D 物体、场景与开放世界的能力

Einsia AI 用 Blender 和 Unreal Engine 中的 145 项任务比较 11 种模型与工具组合。评测发现连续移动、避障和状态管理比局部交互更容易失分。

The full text has not been translated yet. The Chinese original is shown below.

Coding Agent 要走向真实的 3D 生产管线,就必须跨越从 “单个物体” 到 “完整场景”,乃至 “可交互开放世界” 的鸿沟。

过去,三维重建、生成与编辑高度依赖传统视觉与图形学中的专用算法管线。而如今,具备视觉理解与程序执行能力的 Coding Agent 正在颠覆这一过程 ——将以往所有的三维视觉难题,全部转化为代码生成问题。

然而,现有的评测基准往往将 “静态几何质量” 与 “动态世界交互” 割裂开来,难以回答一个核心问题:

「今天的 Coding Agent,究竟能否接住从物体、场景到开放世界的全栈创作需求?」

为此,Einsia AI 发布Frontier3DBench。该基准横跨 Blender 与 Unreal Engine 两大工业级环境,涵盖 9 大类别、145 项任务(65 项物体 + 65 项场景 + 15 项开放世界),全面评测了11 种主流前沿模型与 Agent 框架配置,从外观、结构与行为三个维度,系统性地勾勒出 Coding Agent 的 3D 创作能力边界。

文章配图

  • 论文题目:Frontier3DBench: Benchmarking Coding Agents for 3D Creation across Objects, Scenes, and Interactive Open Worlds
  • 项目主页:https://lab.einsia.ai/frontier3dbench
  • GitHub:https://github.com/Einsia/Frontier3D
  • Paper:https://lab.einsia.ai/frontier3dbench/Frontier3DBench.pdf

从捏物体、搭场景到造世界

Frontier3DBench 测什么?

在 3D 创作里,捏一个模型、搭一个房间,和造一个能跑能跳的开放世界,难度完全不在一个量级。每往前走一步,Agent 要照顾的事就多一层:物体讲究零件与比例,场景讲究空间布局,而世界则必须接住动作、交互与持续变化的状态。

以往的评测往往把这些环节切碎了 —— 有的只看静态资产美不美,有的只测游戏代码通不通。光看一个笼统的总分,很难搞清楚 Agent 翻车时,到底是因为丢了参考图细节、排错了房间位置,还是卡在了运行时的某步交互上。

文章配图

为此,Frontier3DBench 将这三层要求装进同一套评测标准,涵盖 9 大类别、145 项任务:

  • L1 物体层(65 项):交付可编辑 Blender 资产,涵盖纯文本建模(Text2Code)以及单视图、多视图参考图重建(Img2Code)。
  • L2 场景层(65 项):交付完整 Blender 场景,覆盖文本生成(Brief2Scene)、渲染图重建(Ref2Scene)、真实照片重建(Ref2Scene-RealPhoto)以及 “改局部、保周围” 的场景编辑(SceneEdit)。
  • L3 开放世界层(15 项):交付 Unreal Engine 工程,要求根据文本(Text2Env)或参考图(Img2Env)构建多区域连通、支持连续交互活动的开放世界。

评测也跟着工程文件一路往里走,用三个坐标给每份 3D 答卷打分:

  1. 外观:看渲染结果,检查视觉美感与参考图还原度;
  2. 结构:拆原生工程,量尺寸、数零件、查穿模与连通性;
  3. 行为:跑独立测试,驱动角色在世界中实际穿行交互,验证动作与状态是否成立。

按 30%(物体)、30%(场景)、40%(世界)的权重汇总后,研究团队对 11 种主流大模型与 Agent 框架进行了全面摸底。

Sol 拿下总榜第一

但 “造世界” 换了领跑者

先看总榜:GPT-6.1-sol 以 66.02 分斩获总榜第一,在物体层(71.21)和场景层(70.35)优势明显。

文章配图

但9 个细分类别,没有任何一个模型能全部通吃:

  • 开放世界(L3)的领跑者变成了GPT-6-astra(均分 61.28);
  • 文本生成物体(Text2Code)的最高分属于Claude Opus 5.5(84.05);
  • 场景编辑(SceneEdit)则跑出黑马:总榜第六的MiniMax-M3.1-Flash以 78.70 分拿下单项第二,Kimi-K3 与 GLM-5.3-Flash 的编辑表现也双双超过全场均值。

想选一个做 3D 的 Agent,得先问清楚:你要它捏资产、改场景,还是去虚幻引擎里造世界?

文章配图

文章配图

自由发挥超 80 分

给张参考图却集体 “破防”

细看每个模型在各个任务上的得分,可以发现,所有模型的 “参考图重建” 得分均显著低于 “文本生成”:

  • 文本生成物体得分普遍高达75.93~84.05 分;
  • 到了多视图和单视图重建,全场最高分仅剩69.61分和66.26 分。

文章配图

Qwen3.8-Max把这种反差展现得尤为明显:其文本生成物体高达 81.98 分(逼近榜首 Sol 的 82.10),但多视图和单视图重建却骤降至 43.97 和 37.34。Kimi-K3.1-Pro 和 DeepSeek-V4.1-Flash 也呈现出 “强生成、弱重建” 的分布。

做出一个 “看着合理” 的作品已经不难,难的是跨过遮挡与透视,把 “指定的那个作品” 分毫不差地复刻出来。

差距藏在外观、结构与细节中

把总分拆成视觉质量、结构一致性、任务完成度三个维度,模型的短板更加一目了然。

文章配图

物体和场景的视觉与完成度由 Sol 领跑,开放世界由 Astra 领跑;而在物体结构上,Opus 以 83.27 分微弱反超 Sol。整体来看,各模型把主部件摆对位置、搭出粗略骨架相对容易(L1 结构均分 72.77),但要把精细外观和细节填满则难得多。

文章配图

落到具体作品上,高下立判:

  • 纺车重建(L1 物体):Sol 和 Opus 恢复了主要机械组件,Kimi-K3 则将其简化成了抽象的圆环与木杆,丢了核心传动件;
  • 浴缸修复(L2 编辑):Sol 和 Astra 让新浴缸严丝合缝地适配了原有支架,Luna 的浴缸外壳却与支架分了家;
  • Minecraft 村庄(L3 世界):Astra 和 Sol 还原了村落轴线与连续梯田地形,Luna 则把建筑密集堆在了平地上,丢了空间语境。

单个机关能跑 83 分

连成完整任务却跌到 30 分

开放世界的真正考验在代码运行的那一刻。所有模型在 L3 世界层的平均分,均低于各自的物体和场景成绩。

对 165 个生成世界的运行时测试,拆出了一组扎眼的数据:

  • 局部交互:平均83.08分
  • 运动避障:仅20.82分
  • 状态与工作流:仅30.26分

文章配图

文章配图

结论很明确:局部机关已经能做出来了,但很难把它们串起来。

单独写一个开关或机关,Agent 已经轻车熟路;但要让角色无穿模地跨区域移动、触发动作,并让改变后的状态持续影响下一步操作,从而跑通一整套活动,正是当前 Agent 亟待跨过的一道大关。

算笔经济账

花钱越多,作品就越好吗?

将综合质量与单题平均 API 估算成本放在一起,便有了这张性价比地图:

文章配图

挑一个 3D 创作搭档,既要看作品,也得算清背后的 API 账单:

  • 三大性价比守门员:GPT-6-luna(约 $0.27 / 题,48.56 分)、DeepSeek-v4.1-Flash(约 $0.45 / 题,57.45 分)和GPT-6.1-sol(约 $1.01 / 题,66.02 分)构成了帕累托前沿。从 DeepSeek 升级到榜首 Sol,花约 2.2 倍的成本即可换来 8.57 分的跃升。
  • 更贵不等于更好:GPT-6-astra(约 $5.58 / 题,63.85 分)和Claude Opus 5.5(约 $21.17 / 题,62.29 分)的单题开销远高于 Sol,但综合质量反而更低。

文章配图

下一步

让代码里的 3D 世界真正运转起来

一台精密的机器,依赖零件之间的严密咬合; 一间合理的房间,讲究物体之间的空间秩序; 一个鲜活的世界,需要动作之后仍能延续的状态与反馈。

今天,Coding Agent 正在把这些原本属于图形学与三维视觉的复杂要求,一行行写进可执行的程序代码里。

Frontier3DBench不仅为这条技术路线绘出了首张全景能力地图,也精准标出了通往 “真正 3D 创作者” 路上必须攻克的两座大山:

  • 跨越 “自由生成” 到 “精准还原” 的鸿沟,让看见的几何结构与细节分毫不差地建出来;
  • 打通 “局部机关” 到 “全局工作流” 的闭环,让可交互世界里的连续动作与持久状态真正协同运转。

当这两座大山被翻越,Coding Agent 交付的将不再只是孤立的资产或静态的布景,而是真正可走入、可交互、可演化的数字世界。

从「会写代码」到「能造世界」,3D 创作的下一个时代,才算真正拉开帷幕。

文章来自于微信公众号 “机器之心”,作者 “机器之心”

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)