AI guides

CLASHarness 开源:评测多智能体冲突中的取证、修复与交接

By 机器之心1 viewsSource: 机器之心
CLASHarness 开源:评测多智能体冲突中的取证、修复与交接

Google 等机构发布 CLASHarness,以600个可执行任务评测15个模型如何处理队友错误汇报、共享权限和文件冲突。研究显示,发现矛盾、真正修复系统和完成交接是不同难点;看图核实与合理的工具步数预算,对任务结果有明显影响。

The full text has not been translated yet. The Chinese original is shown below.

当大模型从“单兵作战”走向“多 Agent 协同操作电脑(Computer Use)”,如果队友 Agent 读了旧缓存报假消息、下发了互相矛盾的指令,甚至锁死了共享文件,主控 Agent 该听谁的?来自 Google、Emory、USC、UF、UChicago、UCSB 和 Columbia 的研究团队联合发布了CLASHarness,首次对 15 个主流大模型在多智能体冲突下的真实表现进行了大考。

现在的 AI Agent 已经越来越多地被组队部署到写代码、云运维、财务对账和企业审批等真实工作流中。但现有的 Computer-Use 基准(如 OSWorld、WebArena)几乎都默认了一个理想前提:环境信息永远一致,所有队友 Agent 都百分之百靠谱。

真实场景显然不是这样。在多 Agent 协作中,子 Agent 经常会因为读了过期缓存而汇报错误状态,或者在文件锁和权限上跟主 Agent 撞车。比如:子 Agent 发消息说“线上服务一切正常,请立刻切流”,但实时监控面板的截图里其实已经在疯狂报错。这时候,主 Agent 如果盲信队友的文字汇报,就会直接酿成线上事故;它必须主动打开监控截图核实真实状态(Ground Truth),并动手回滚配置、释放共享锁。

文章配图

  • 论文标题:CLASHarness: Benchmarking Multi-Agent Conflict in Computer Use via a Controllable and Verifiable Generation Pipeline
  • 论文地址:https://arxiv.org/abs/2610.19128
  • 开源代码与数据集:https://github.com/google-research/CLASHarness
  • 数据集规模:覆盖 20 个真实领域、600 个多轮可执行冲突任务、7,970 张 4K 视觉证据图片、3,284 项必测检查点。

一、 为什么做“多智能体冲突基准”这么难?

要构建这样一个包含代码库、终端日志、多 Agent 聊天记录和高清 UI 截图的冲突测试集,难点在于:纯靠人工编写根本没法大规模扩展;而如果直接让 LLM 一次性生成,又极易出现前后剧情矛盾、题面不小心泄题、甚至生成连标准答案都过不了的“死题”。

为此,CLASHarness 设计了一套“三层八阶段”自动化生成与验证管线,从源头上保证100% 的任务可解性:

文章配图

图 1:CLASHarness 的三层八阶段生成管线。绿框代表零成本的代码自动修复,红框代表带报错反馈的局部单步重试。

1. 分步规划 + 局部自动纠错(图 1):管线先规划全局大纲和 Agent 角色权限,再按每 3–4 轮滚动生成具体任务,避免长文本上下文跑偏。每轮生成细分为 8 个小步骤:一旦出现路径或格式问题,直接用代码自动修复(0 次模型调用);出现逻辑冲突则只重试出错的那一小步,无需推倒重来,平均仅需95 次 API 调用就能合成一个完整的 10 轮连续任务包。

2. 杜绝文本“走捷径”,关键证据只藏在 4K 图里(图 2):为了防止 Agent 不看图、光靠搜文本混过关,CLASHarness 会先定好解决冲突的关键真值(比如真实账单金额、权限矩阵状态),再渲染出3840 × 2160(4K)分辨率的真实 UI 截图或实景照片,并用自动扫描器清空所有文本文件里的答案线索,逼着 Agent 必须看图取证。

3. 先在沙盒跑通标准答案,再生成评分器:所有任务的评分标准(34.9% 精确代码检查 + 65.1% 语义三票多数决检查)全部直接从真实沙盒里跑通的参考轨迹中提取生成。同时内置23 个模块化冲突插件,开发者可以像搭积木一样按需合成新的冲突测试场景。

文章配图

图 2:CLASHarness 生成的 4K 视觉证据示例(涵盖监控面板、IAM 权限对账表、算力调度监控与报销账单明细)。

二、 15 大前沿模型实测

四个反直觉的核心发现

研究团队在 600 个冲突任务上评测了15 个主流模型(包括 Claude Opus 5 / 4.8、Sonnet 5、GPT-6 Astra、GPT-5.6 系列、Gemini 3.x 系列,以及开源模型 Kimi K3、DeepSeek V4 Pro / Flash、GLM-5.2),累计跑完了9,000+ 条真实沙盒轨迹。

文章配图

图 3:15 个模型在 CLASHarness(600 个任务)上的总排行榜。左侧彩条为端到端任务通过率(Pass Rate),右侧为单项检查平均得分(Mean Score)。

发现 1:单点得分不低(~60%),但端到端通过率无一突破 30%

如图 3 所示,在标准 20 步限制下,Claude Opus 5(25.2%)和GPT-5.6 Sol(24.5%)排名最高;放宽步数后,GPT-6 Astra 拿到最高的 28.7%。开源阵营中,Kimi K3(21.8%,总榜第 5)和DeepSeek V4 Pro(19.8%)表现非常亮眼,追平甚至反超了多款闭源商用模型。

为什么顶尖模型能拿到55%–67% 的单项步骤分(Mean Score),端到端通过率(Pass Rate)却连 30% 都不到?因为解决真实冲突是一条完整的链条:识破队友误导 → 打开图片核对真值 → 修改系统配置 → 完成交接收尾。只要中间漏掉一环,整个任务就会失败。

发现 2:弱模型盲信队友文字,强模型主动看图查证

当子 Agent 的文字汇报和真实环境冲突时,较弱的模型很容易“耳根子软”,直接轻信错误的文字汇报;而强模型会主动调用工具去翻看监控截图或账单图片来核实真值(在视觉定位和证据引用上领先弱模型31–65 个百分点)。

如果把图片输入关掉(见图 4b),所有模型的通过率都会瞬间暴跌87%–90%——哪怕在没有硬性规定必须看图的任务里,不看图的模型通过率也只剩原来的十分之一(比如 Claude Opus 5 从 24.8% 跌到 2.8%)。

发现 3:“看出矛盾”容易,“动手修好并收尾”太难

为了搞清楚模型到底是“看不出问题”还是“修不好问题”,研究团队对比了同一批冲突场景下的两种任务要求:

  • 只要求调查汇报:模型的平均通过率能达到28.1%;
  • 要求动手修改系统状态:通过率直接掉到11.0%(净降 18.2 个百分点);如果要求走完完整的多 Agent 协作流程,通过率更是只剩4.4%。
  • 最容易栽跟头的“收尾环节”:即便是最强的 GPT-6 Astra 和 Claude Opus 5,也有58%–72% 的收尾动作失败。模型经常在改完主配置文件后就直接结束任务,忘了释放共享锁、忘了关工单,或者忘了发消息通知下游子 Agent 接手。

发现 4:思考 Token 越多反而越容易死循环,放开步数才能解锁深度探索

在数学和代码题里,让模型多思考(增加 Thinking Tokens)通常能提分。但在多 Agent 交互环境里,结果却恰恰相反:

文章配图

图 4:三大消融实验。(a)放宽步数限制(20→30→40 步);(b)有视觉 vs. 无视觉输入;(c)换用不同生成模型(Gemini 3.6 Flash vs. Claude Sonnet 5)的排名一致性(ρ = 0.96)。

1. 过度思考导致的“死循环陷阱”:在 20 步限制下,模型花在内部思考上的 Token 比例越高,成功率反而越低(相关性 ρ = -0.70)。例如把 Gemini 3.5 Flash 的思考强度从 Low 调到 High,它的通过率反而从 13.5% 暴跌到 3.0%,单题解决成本飙升到$39.54(是 GPT-5.6 Luna $0.72 的 55 倍)。原因在于它在内部反复纠结、重复调工具,89.2% 的任务都把 20 步额度耗光了还没做完正事。

2. 放开步数限制,解锁长线探索(图 4a):反过来,对于真正擅长多步探索的模型,20 步上限反而限制了它的发挥。当把步数上限从 20 步放宽到 40 步和 60 步时,Gemini 3.8 Flash 的通过率从 12.8% 一路飙升到 29.2% 和 30.7%,反超所有 20 步基准模型,同时平均每道解出题目的花费还下降了21%(降至 $3.50)。

三、 开源与展望

多智能体后训练的数据引擎

除了作为评测基准,CLASHarness 更是一套可扩展的多智能体训练数据合成引擎。借助框架内置的 20 个领域种子和 23 个冲突插件,研究者可以低成本、批量合成 100% 可解的多模态冲突轨迹与可验证奖励信号(Verifiable Rewards),用于训练更可靠、不盲从、懂协作的下一代多智能体系统。

目前,CLASHarness 的生成管线代码、600 个评测任务及交互式轨迹查看器已在 GitHub开源,欢迎大家体验!

文章来自于"机器之心",作者 "机器之心"。

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)