AI guides

WildAWM 合成电脑环境训练智能体调用网页、界面与工具

By 机器之心0 viewsSource: 机器之心
WildAWM 合成电脑环境训练智能体调用网页、界面与工具

微软研究院等团队构造跨 GUI、MCP 和命令行的电脑任务,并用验证器判分。两款千问模型在论文列出的八个分布外基准上均有提升。

The full text has not been translated yet. The Chinese original is shown below.

你是否也好奇 GPT-6 Astra 惊人的 computer-use agent (CUA) 电脑使用能力如何训练得到?

来自微软研究院 (Microsfot Research), 北卡罗来纳大学教堂山分校 (UNC-Chapel Hill), 佐治亚理工大学 (Gatech), 和美国东北大学 (Northeastern University) 的研究者提出了最新研究成果 WildAWM。

文章配图

  • 论文标题:Agent World Model in the Wild: Computer-Use Agent Environment Synthesis
  • arXiv 链接:https://arxiv.org/abs/2610.26828
  • 项目主页:https://msr-orchard.github.io/WildAWM/
  • 开源代码:https://github.com/MSR-Orchard/WildAWM
  • 开源环境、任务与模型:https://huggingface.co/collections/ChilleD/agent-world-model-in-the-wild

想让 agent 学会用电脑,最简单直接的办法就是让它在电脑环境中进行交互、训练,可是一方面真电脑环境成本高、很难大规模铺开,而且可能会引入安全风险,比如 OpenAI 最近披露了一起 agent 在线环境中学习却意外地攻击了 huggingface 服务器的事件。

WildAWM 使用合成的个人电脑环境(有 shell,有文件系统,有浏览器,有常见的应用 MCP 服务比如 email)来作为现实训练环境的替代。而且,为了避免间接蒸馏私有模型的嫌疑,WildAWM 完全使用开源模型进行合成。合成环境后,再在里面合成高质量的 agent 任务、对应的 verifier 验证器,来组成 {environment, task, verifeir} 训练样本,只在这些合成的环境中训练两个 Qwen 模型(Qwen3.6-35b-a3b 和 Qwen3.5-4b),却在 8 个横跨 web agent, claw agent 和 GUI computer-use agent OOD 常见评测榜单上全部有提升。

文章配图

从 Agent World Model (AWM) 到 WildAWM

最近,前沿实验室已经展现了 RL 对于 agent 的性能提升有巨大的帮助。agent 要在交互里学,需要和环境进行交互。拿真实系统交互并不现实:环境没法大批量复制,状态也很难重置,agent 一旦点错,删掉的文件、发出去的邮件都是真的,还可能带来安全隐患。

今年 2 月,研究团队发布了 Agent World Model(AWM,ICML 2026)。区别于 world model 往往使用神经网络模拟环境、预测下一个 state(作为环境),AWM 用代码和数据库合成可执行、可交互的环境,一共生成了 1000 个,覆盖各种日常场景,专门用来给多轮调用工具的 agent 做强化学习。只在这些合成环境里训练,模型在三个 OOD benchmarks 上都有不错的分布外泛化。

WildAWM 是这个系列的新工作,这次面向通用的计算机使用 agent(computer-use agent,CUA),不再一个个地合成工具环境,而是直接合成一整台个人电脑。

合成一整台电脑环境

真正的 computer-use agent 应该是 agent 可以访问这台电脑的任何界面,而不局限于一种界面,agent 可以使用 CLI 就像 coding model 一样用代码高效完成任务,也可以使用 GUI,操纵鼠标、键盘访问图形界面网页,也可以接入 MCP service 发现便捷的软件 services(比如 email)。

网站、应用、MCP 服务和本地文件都在一台机器上,状态也连在一起。已有的合成方法大多做的是每个应用各自是一个孤立的环境,比如专门合成 terminal 环境的,比如专门合成网页环境的等等。

WildAWM 的每个环境都是某一个人的电脑。合成从一个虚构人物开始:先定下这个人的职业、联系人、常去的网站和手头在忙的几件事,再把这些事排成一天一天的计划。接着,使用一个 coding agent(GLM-5.2 加 OpenCode)按天把计划落到环境里,往数据库里写记录,往文件夹里放文件,每一天都接着前一天的状态往下做,自然数据也会一天天合成得越来越多。注意这些网页,应用,数据全部是合成的,全部在本地,不需要联网。

文章配图

图 1: WildAWM 合成世界,包含 GUI web,MCP,CLI 三种 agent 常见的 computer-use 接口

为了让这个世界前后一致,每一天的状态都要独立重放两次,两次结果完全一样,所有服务和网站也都正常,才会留下来。还会启动另一个 agent 核对当天的数据和计划对不对得上。整个过程合成了 36 个人物、640 个世界状态。到最后一天,一个世界里平均有 17 万多条数据库记录和 50 个左右的本地文件,复杂程度超过同期的合成环境类工作。

高质量的合成 Task 是另一个难题

环境有了,接下来要在里面出题 Task。

WildAWM 合成的 Task 叫跨界面(cross-agent-interface, XAI)任务,每道题都必须用到 GUI、MCP 和 CLI 三种接口。

比如一道题:Jordan 要在 2 月 21 日跑半马,想在比赛前再确认一下跑表买哪块。训练笔记里记着几块备选的 GPS 手表,之前已经 “定下” 了一块,但 Jordan 想按比赛要用的标准,也就是 GPS 精度、屏幕看不看得清和预算,重新排一遍。agent 得先写个 python 脚本,从笔记里把候选表找出来排好序,存成文件。接着登录 Amazon,这时搜出来的手表可能不止一款,题目没给型号,只描述了外观(黑色圆形表壳,深色表带内侧有浅灰纹路),得看商品图来挑。加进购物车以后,还要往本地日志里补一条带日期的记录,写明选了哪块表、多少钱,最后在聊天应用里告诉好朋友 Naomi 选了哪一块。完成这个任务需要横跨多种 agent 界面,充分使用合成的环境。

这些任务平均包含 4.2 个子任务,要切换 3.1 次接口,74.5% 的任务做到中途还要回到之前用过的接口,有的需要超过 100 多步,是 long-horizon agent 任务。

文章配图

图 2: agent 完成合成的任务需要横跨多种 computer-use 接口:CLI, GUI, 和 MCP

那么,怎样才能合成这样的高质量 task 呢?尤其是在不依赖任何闭源前沿模型的情况下,如何解决:

  • 任务有效性 (Task Solvability),确保合成的任务是可以正常被完成的;
  • 任务难度(Task Difficulty),确保合成的任务是有足够的难度的,毕竟市面上大多数的 benchmarks 都已经饱和,我们必须要合成足够难度的任务,比如难倒 GPT-6 Astra 的任务
  • 任务验证器的可靠性(Verifier Reliability),合成的 task 都有一个验证器,用于自动判定 agent 是否完成了任务,提供训练的奖励信号,必须确保足够准确和可靠,才能给出有效的 agent RL 强化学习信号

文章配图

图 3:WildAWM 的整体流程。左边合成世界,中间详细介绍了合成任务的各个阶段,最右边用合成好的环境、任务和验证器做强化学习

WildAWM 的做法是在合成阶段就引入大量不同的 agent 去实际去尝试这些题目。研究团队使用 3 个开源模型(GLM-5.2、DeepSeek-V4-Flash、MiniMax-M3),配上 6 种 agent harness,其中 OpenCode、Codex、Claude Code 是编程 agent,Nanobot、OpenClaw、Hermes Agent 是 claw agent。每次合成的 task 要跑至少 6 次,一半给提示。

每次跑完由三种验证方式来评价:生成器写的验证脚本(verifier)、LLM judge,还有一个拥有最高权限的,可以自己进环境查看前后状态的 coding agent judge。它们依次增加了 test time 的时间和计算,理应会越来越准确。但是在 RL 训练当中,我们需要一个高效的验证器,也就是通常是一个脚本。所以我们的目的是将验证脚本 verifier 的准确度对齐 Agent Judge。

有了这些 agent 实际的执行过程 trajectory,一道 Task 要连过 5 道关才算合格:

  1. 评判一致:6 次执行里,verifier、LLM judge 和 agent judge 的结论必须完全一致。
  2. 初始未完成:agent 什么都不做的时候,verifier 必须判失败,免得出现一开始就 “已完成” 的题。
  3. 可解:6 次执行里至少要成功一次。
  4. 难度:不给提示的 3 次如果全都成功,说明题太简单,需要修改加难度。
  5. 反事实探针:大模型容易顺着别人的话说。研究者故意把相反的结论告诉 agent judge,让它重新查,它要是改了判定结果,那说明这次判定就不靠谱,需要重新修改

经过这些关卡,最后,2,551 个任务草稿里留下了 341 道合格的题目。

文章配图

图 4: 合成任务的漏洞,每过一道关卡,就会筛选掉很多不合格的 task

这些合成的 Task 质量到底怎么样

先看能不能做(Task Solvability)。研究者用 24 种模型和框架的组合(前面 3 个开源模型加上闭源较强的模型 Opus-4.8,各配 6 种框架)来做这批题,每道题都至少被一种组合做出来,就算只用合成时那 3 个较弱的开源模型,也能做出 95% 以上。

文章配图

图 5: 合成的 Tasks 能够被多少 agent 解决:每个 task 都至少被一个 agent 成功解决,但没有一道能够被所有 agent 都解决

再看难不难 (Task Difficulty)。合成阶段不给任何提示时,agent 的平均成功率只有 21.3%,341 道题里有 273 道被标成了难题。在验证集上,GPT-6 Astra 第一次就做对的比例约为 Pass@1 60%,让它做 8 次,Pass@8 仍有 27.3% 的题一次都没做出来。WildAWM 完全使用开源模型,却能合成出让 GPT-6 Astra 都做不对的题(注意每到题都验证过是可以被解决的)。

文章配图

图 6:各类模型在合成的 WildAWM 环境和 tasks 上的性能,右图展示了 Test time scaling 下的性能表现

最后看验证器(Verifier Reliability)。在随机抽取的 100 条 agent 执行记录上(包含成功的和失败的),验证脚本 Verifier 和 agent judge majority 投票的一致率是 95%,Cohen's κ 为 0.90。一个轻量的验证脚本,判得和这些又重又贵的 agent judge 差不多准,这确保了 RL 训练时使用的 reward 足够可靠。

文章配图

图 7:Verifier 和 agent judge 的一致性评估

只在合成环境里训练

能不能泛化到真实世界?

341 道题分成三份:100 道用于 SFT,208 道用于强化学习,33 道留作验证测试集。训练先用 GLM-5.2 在 SFT 那部分题上的 100 条轨迹做热启动,再跑最多 64 步强化学习,训练算法使用 GRPO,训练两个 Qwen 模型(Qwen3.6-35b-a3b 和 Qwen3.5-4b)。

评测选了 8 个训练时完全没见过的 OOD benchmarks,分三类:web agent(WebArena、Online-Mind2Web)、claw agent(QwenClawBench、ClawEval)、GUI computer-use agent(CUA-Gym、OSWorld-Verified、OSWorld 2.0、Agents' Last Exam)。

文章配图

图 8:WildAWM 训练的模型在 8 个分布外 benchmarks 上的性能表现

两个 Qwen 模型在 8 个 benchmarks 上全部提升。Qwen3.6-35B-A3B 的平均分从 42.84 涨到 53.42,提高了 10.58 分,在 ClawEval、OSWorld-Verified、WebArena 和 CUA-Gym 上分别涨了 16.67、16.06、13.72 和 12.22 分。训练后,它在 WebArena 上和 GLM-5.2 打平(67.26),在 Online-Mind2Web 上超过了 GPT-5.5(80.77 对 72.22)。Qwen3.5-4B 的平均分从 21.83 涨到 30.04,提高了 8.21 分。在 WildAWM 自己的 33 道验证测试集上,35B-A3B 的通过率从 5.68% 提到 35.98%,和 GLM-5.2 (20x 的参数)的 37.88% 已经相差不远。

文章配图

图 9:只在合成世界里训练后,Qwen3.6-35B-A3B 在每个 benchmark 上的涨幅

为了探究 WildAWM 合成环境到底贡献了什么 agent 能力,作者们还进行了更加深入的研究,下面节选两个重要的研究:

5 道 Task 质量关卡是不是都有必要?研究者每次去掉一道进行消融实验,重新合成 SFT 数据来训练 Qwen3.5-4B,平均分都会下降,降幅在 2.60 到 9.30 分之间。影响最大的是评判一致和初始未完成。

文章配图

图 10:WildAWM Task 合成 5 道关卡的消融实验结果

RL 强化学习训练有带给 agent 哪些改变?

  1. 相邻两次工具调用之间切换接口的比例,从 18.4% 升到了 25.5%,接近 GLM-5.2。这说明 agent 对于不同的电脑接口使用更加熟练,对于不同的需求,可以切换到最合适的接口进行完成任务
  2. RL 让模型更能做长任务:在 40 到 120 步这一段,只做 SFT 的模型多解出 9.7 个百分点的题,完整训练后(+RL)的模型多解出 17.0 个百分点。
  3. RL 不能给模型带来超越 Teacher model 本身的能力:将任务根据难度分成多个桶,可以发现即使经过了 RL 训练,agent 也只能够在 easy, medium, hard 中获得提升,而不能在 teacher model GLM-5.2 都不会做的 hardest 题中取得提升,这个发现和现在的主流研究也比较一致,RL 只能激发、排列组合 base model 已有的能力。

文章配图

图 11:强化学习后 agent 的行为分析

全部开源

WildAWM 的合成流水线、341 个环境和任务、两个训练好的 Qwen 模型,还有整理好的 Harbor 格式的数据集,都已经全部开源。从生成环境、出题到判分,整个过程只用开源模型,不依赖任何闭源的前沿模型,可以直接使用,也可以进行复现。

研究团队认为,这为开源模型指出了一条路:自己合成可以不断扩大的环境和高质量的任务,在里面自己学习,进行迭代重复,最终成为强大的通用计算机使用 computer-use agent,整个过程不依赖任何闭源模型,避免间接蒸馏。这为开源模型奠定了 Recursive Self-Improvement (RSI)的基础。

文章配图

文章来自于微信公众号 “机器之心”,作者 “机器之心”

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)