AI guides

Theseus Lab 发布三项评测,覆盖智能体交付、自我改进和视觉文档

By 机器之心0 viewsSource: 机器之心
Theseus Lab 发布三项评测,覆盖智能体交付、自我改进和视觉文档

DeliverBench 考察完整项目交付,SelfImprove-Bench 测量改进能否迁移,AmbiHTMLBench 比较模型把视觉文档还原为 HTML 的表现。

The full text has not been translated yet. The Chinese original is shown below.

Anthropic 工程师刚刚提出 “95% 的工程师已经在跑自我改进循环。” RSI 热潮推到眼前,递归循环跑起来了,AI 究竟变强了多少?本文将公开 Theseus Lab 进化纪元的洞察和愿景,并开源 3 项相关工作。

模型的能力,正在以月为刻度向前推进,但能力的进步并不同步。

文章配图

  • 当你和 AI 说 “生成好看的 vlog“,它给出的成果却是另一类风格,因为【好看】的指令不够清晰,需再沟通多轮。
  • 即使指令给的足够细致,AI 依然很难做到企业级交付如装潢,因为这涉及到多环节统筹,单节点出错会导致交付偏差。
  • 哪怕 AI 记住各环节需求,做到了存储记忆,但规则会迭代 & 需求会更新,新变动依然会导致新问题。

现实世界永远充满模糊的诉求、意外的突发变动,所以无法 100% 全程放心地交给 AI。人类不得不依然从指令、检查、修正等角度付出时间精力。

Theseus Lab 的工作区测试也反映了类似的问题,从 8 月的 GLM、9 月的 MiMo、10 月的 DeepSeek 到 11 月的 HY4,跨源证据整合与受限环境探索的得分均提高约 22 分,状态追踪和例外推理也持续走高。模型正从检索、写作和代码生成,走向处理更复杂的真实工作,但过度行为抑制、约束决策等方面的能力提升仍然有限。

一、愿景:超级智能的自进化驾舱

为把自进化能力开放服务于现实世界,Theseus Lab 现已依托三层自进化技术路线逐步开展:

1.1 开放环境中的自主探索

模型的能力提升不再局限于标准测试集,而是延伸到真实、开放的业务、创作与科研环境,在自主探索中理解现实需求、应对环境变化。

  • 例如,在上面工作区实验中,用户提出模糊要求,模型需寻找关键线索,主动查询相关数据源。
  • 原始 GLM-5.3-Flash 在这类任务的得分仅为 34.3,而充分获取材料上下文的模型则可达到 100。

1.2 实践经验的持续内化

Anthropic 的研究提出,Agent 需要类似人脑睡眠整理记忆的 “梦境” 过程,在任务结束之后回看全部日志,固化有效经验。我们的思路与之相通:单次项目踩过的坑和收获的经验,转化成通用可复用能力。

  • 例如,只需说 “帮我写周报”,它就能串联工作记录并按你的风格和汇报重点成稿。
  • 在涵盖真实个人 12 个月工作轨迹的长程任务测试中,此方法在检索增强、技能记忆等多项比较里取得了最佳成绩。

1.3 从一阶改进走向二阶进化

已有自进化方法多是在既定的方法下,根据反馈不断调整结果。我们让 AI 审视这些方法本身:怎样改变尝试的方向和方式能取得更大的突破?

  • 例如,研发连续做了多轮实验,若继续修改方案再试,是一阶改进;能调整实验顺序和判断标准,则是二阶改进。
  • 在实验中,相比始终采用固定改进方法,让改进器自我迭代带来了 12 个百分点提升。

以上三层自进化机制成熟跑通后,开篇图例中列举的 AI 诸多短板,便能从底层获得回应,超级智能的演进会持续对齐人的真实目标。

二、【逐步开放】近期技术成果开源

理想的轮廓已经清晰,现实 AI 前沿模型距离超级智能还有多远?想客观衡量必须跨越不同任务类型开展对照,我们也将开放对应的参照尺度。

Theseus Lab 进化纪元联合生态伙伴: Humanlaya、小红书开源三项具体的技术成果,含代理能力、专精能力、高阶进化能力。

开源 01. 真实企业项目揭示前沿模型代理交付能力短板

把项目交给 Codex、Claude Code,为什么还得人兜底?

文章配图

  • https://deliverbench.github.io

OpenAI、Anthropic 等的智能体工具,已经能替人干很多活,却还不能让人放心把整个项目交出去。写报告、做模型、整理材料,单独拿出来都像模像样;一旦让它负责整个项目,人还是得盯进度、查结果、补漏洞。

文章配图

实测中 Qwen3.8Max 把公司的全部借款,误当成某笔贷款的待偿余额,错误顺着任务依赖链进入了最终交付。每步都生成了文件,整套成果却建立在同一个错误上。

在 DeliverBench 中,我们让这些智能体接手完整的专业项目:接着自己的成果往下做,处理陆续到来的材料和反馈,最终交付可验收的成果,检验它们从 “能帮忙” 到 “能交付” 究竟还差在哪。

文章配图

在这项覆盖全部 11 个项目的七个 Agent 系统评测中,前沿模型的最高平均最终交付分仅为 65.0/100;且若以 90 分为子任务通过的阈值,最高通过率仅为 50.0%。

文章配图

这背后暴露了开篇我们提到的 “前沿 AI 能力并不均衡” 的关键问题,让它们完成一项明确交办的工作,往往表现不错;若持续负责整个项目,短板的能力问题就暴露出来了:

文章配图

Project Mars 再融资项目下,五个前沿模型的不均衡能力表现

DeliverBench 的设计初衷:是沿着完整项目链条做全流程检验,把那些短 demo 里看不见的隐患暴露出来。下一步:就是让 Agent 能力沿着项目链持续生效:

  • 如何识别修改的影响范围?输入变化后,哪些计算报告和决策需要重新检查?
  • 如何维护证据与结论的联系?怎样避免未经核实的假设被当成确定事实?
  • 如何发现并修复早期错误?修复文件后,如何确认依赖它的也更新?

开源 02. 自我改进能否迁移揭示当前智能体进化边界

AI 学会改进自己,进步能保留、能迁移吗?

文章配图

  • https://theseus-labs-rsi.github.io/SelfImprove-Bench

AI 已经开始根据任务反馈修改提示词、积累记忆,甚至调整工具和执行流程。但反复改进之后,再遇到见过的任务,还能不能做好?现有针对 RSI 的评测短板,说犀利点就是三个字:不查账。有的评测只看 "训练过的任务还能不能做对",有的看 "换个任务行不行"... 各自标准不一,可能在某种测试上效果拔群,在别处暴露短板。

文章配图

Experience-level 停留在对 prompt、memory 和纯文本 skill 的改进,harness-level 将代码工具和流程纳入改进范围,meta-level 则进一步改进器自身的进化。

值得关注的自我改进,应当能够迁移到未见过的实例、更高的难度、同类中的新任务,乃至不同能力类型的任务中;这些任务不能通过简单的 Experience-level 改进得到满足;需要可控、可扩展的基础设施为上述方面的评测提供支持。在我们的 SelfImprove-Bench 中,按 "评测和训练的关系",定义了 G0–G4 五个台阶:

  • G0 已见实例保持:旧题重做
  • G1 同游戏同难度:只更新了题目
  • G2 更高难度:同款游戏,加难度
  • G3 同任务族跨游戏:同类能力,换游戏考
  • G4 跨任务族迁移:换类能力,能否迁移

每级都用 HCI 衡量一段改进过程的效果,公式很直白:(进化后分数−进化前分数)/(上限−进化前分数), 评测的关注点从 "这个 AI 最终达到多强" 变成了 "这段改进过程多有用"。

文章配图

SelfImprove-Bench 具备任务生成、编排、模拟、分析的全套元能力,具有可扩展性的 RSI 基础设施。通过细粒度的结果分析,我们得到了很多有意思的初步发现:

文章配图

  • 发现一:越往上爬,增益越薄,甚至会掉。 G1 上 88.9% 的组合取得正收益、G2 正收益缩减至 82.4%、G3 同任务族跨游戏只剩 55.6%、G4 跨任务族仅 5 个为正。
  • 发现二:排名会翻转。 单方法在不同台阶表现差异显著,各方法之间的排名会换位。
  • 发现三:高阶进化存疑。主实验中 87.9% 的改进仍集中在提示词和记忆,未观察到改进器自身的修改。
  • 发现四:有效进化,也要敢于推翻先前的改进。执行框架层与二阶改进方法对既有意见的修订比例约为 30%–40%。

开源 03.「视觉文档」语义解析评测

内容准确与视觉还原,哪家模型实例更强?

文章配图

  • https://ambihtmlbench.tech

试想,你精⼼设计了⼀组海报模板,或是⼀套好⽤的⼩红书笔记排版⼯作流,该怎么把它复现下来,⽇后快速编辑使⽤?⼜或,当你有⼀个具有丰富表单信息的⽂件夹,该如何保持表单的格式,让关键信息都各在其位,让 Agent 能够更好的提 取字段信息?

文章配图

如果希望把这些页面继续用于编辑、检索或 Agent 操作,我们需要保留下来的,还有内容之间的关系与它们在页面中的呈现方式。

基于此,Theseus Lab 进化纪元联合小红书推出 AmbiHTMLBench,要回答的是:给定一张「视觉文档」图像,模型能否重建出内容准确、结构完整、视觉忠实的 HTML 页面?

AmbiHTMLBench 将错误量化为客观和主观两方面:第一条是客观评测,针对内容识别时漏字,错字,分别检查文字、表格与布局。评测系统先在固定浏览器视口中渲染模型生成的 HTML,再提取可见内容及其位置,与参考标注匹配。第二条是主观评测,比较哪个重建页面在视觉层面更忠实于原稿。每次比较同时展示原始页面与两个重建结果,结合整体布局、文字呈现和特殊元素组织,判断是否 “忠实还原”。

结合网络开源的数据,以及高影响力和排版精美的推文,我们构建了一个 50000 量级的优质文档池,并从中选择四类主要页面作为研究对象:

  • 机构 PDF:含密集文字表格图表
  • 网页原生页面:不同内容层级、页面组织
  • 报纸与杂志:多栏排版、跨栏标题、复杂图文
  • 海报设计:视觉层级、自由布局、多样字体

文章配图

目前公认能力较高的模型也无法很好处理此问题:如这张报纸,Claude Opus 5 能保留原文措辞,却丢失了红字强调。而 GPT-5.6-Sol 虽保留了强调部分,却改写了其中一处文字。

实验中,我们对众多多模态系统进行了评测。其中,在主观指标上,我们邀请了 33 名参与者,完成 7,920 次人工判断,尽可能复现忠实人类喜好的视觉还原评判方式。

文章配图

结果显示 Gemini 3.1 Pro Preview 以 0.8092 获得客观综合分第一,主要优势来自更低的文字错误和更强的表格保真度;GPT-5.6-Sol 则获得最高的客观布局分,并在主观榜单中排名第一,但在客观综合排名不尽人意。

这阐明了,文字错误和视觉呈现损失,会以不同方式影响重建质量;根据具体任务,两个榜单可以分别提供更合适的模型能力视角。

技术浪潮容易让人沉醉于能力的奇观,却时常淡化落在真切生活的重量。

以往我们制造器物,把体力重担交付外物;如今我们构筑智能,希望把思虑之中繁重的部分向外移交。

重新划分人与 AI 的能力疆域,解放人类被重复性推演消耗的精力。

Theseus,让无限推演交给智能,让无限想象归于人类。

文章来自于"机器之心",作者 "机器之心"。

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)