AI guides

AI Agent 距离真正替人「全自动办公」,还有多远?

By 特工小师 特工小智1 viewsSource: 特工宇宙
AI Agent 距离真正替人「全自动办公」,还有多远?

近日,Meta 曝光的一段内部录音显示: 公司为了训练大模型,正通过监控工具监视员工在电脑上的鼠标和键盘操作。

The full text has not been translated yet. The Chinese original is shown below.

文章配图

近日,Meta 曝光的一段内部录音显示:

公司为了训练大模型,正通过监控工具监视员工在电脑上的鼠标和键盘操作。

扎克伯格在录音里说:要让 AI 学会「操作电脑」,最有效的办法就是「让系统观察极其聪明的人是如何操作的」。与此同时,微软和 xAI 也被曝以类似方式采集员工的日常操作数据用于训练 AI。

为什么科技巨头们,不惜背负「违法和舆论风险」也要教 AI 用键盘鼠标?

这是因为:在真实的办公环境里,AI 实在太笨了。

想象一个非常普通的人类工作:一个产品的项目经理,需要在他们用的 SaaS 系统上更新项目状态。这个工作说实话,对于人很简单,一个实习生看了系统的文档都能顺利完成。

但是对今天的 AI Agent 来说,这些工作反而做不好:

前段时间,计算机操作智能体(Computer-Using Agent)领域的进展让人兴奋,各家大模型在各类网页测试中拿到了极高的分数,让人们以为 AI Agent 可以轻松实现「全自动办公」。

但最近一项名为 SaaS-Bench 的评测研究,却给这种狂欢泼了一盆冷水。

在这个评测的真实世界大考里,即便是公认极强的模型 Claude Opus 4.7,在完成了 43.9% 的操作步骤的前提下,106 个测试任务里完整做完的也仅仅有 4 个,解决率仅有 3.8%。

文章配图

这或许解释了,为什么扎克伯格们,为何如此急迫地需要顶尖工程师的操作数据:

因为在真实的 SaaS 办公环境里,AI 几乎寸步难行。

满分成绩单以前是怎么拿到的

要理解今天的 Agent 为什么在真实办公室里频频碰壁,我们需要先看看以前的评测做错了什么。

过去一年里,各大模型在网页浏览和界面操作的测试中分数飙升,给投资人和市场带来了极大的信心。但这些所谓的成绩单,很大程度上建立在被过度简化的测试环境里。

以前的测试环境通常是静态和孤立的,并且任务往往被局限在单一的应用程序中:智能体只需要在模拟的网页上点击几次,填入几个预设的文本,在几十步操作之内就能宣告任务结束。

但真实上过班的人都知道,真正的工作从来不是那么简单的:

一个真实的业务流程,是天然的跨系统、长周期和有各种上下文依赖的。

比如,财务人员在收到报销申请后,需要先在人力资源系统里核对员工信息,再去财务软件里创建账单并完成打款,最后还要在客户关系管理系统里登记进度。这个过程不仅跨越了三个不同的软件,而且操作步骤常常超过百步,每一个中间步骤产生的上下文,都会直接影响到后续的决策。

这些过度简化的评测,无法真正的反映 Agent 在真实办公场景下的生存能力。

所以:Saas-Bench 来了。

论文地址:https://arxiv.org/abs/2605.15777

文章配图

把智能体扔进真实办公室

为了判断 Agent 在真实办公场景下的能力,来自 UniPat AI 的研究团队,做了一件非常硬核的研究:把真实的办公室「搬」进测试场。

文章配图

研究团队精心挑选了 23 个开源的 SaaS(软件即服务)系统,其中包括项目管理软件 OpenProject、财务软件 BigCapital、客户关系管理系统 Twenty CRM,以及医疗系统 OpenEMR 等。他们将这些软件被全部打包放进了 Docker 容器中,保留了完整的前后端交互逻辑、数据库状态和业务约束。

为了让这些系统和真实场景足够接近,他们往每一个软件里都填充了真实业务的历史数据,包括数千个用户、项目、订单和文件。

所以当 Agent 登录进去后,看到的不是一个空白的系统,而是几千条历史数据、复杂的跨系统关联和无处不在的干扰信息。

在 SaaS-Bench 设计的 106 个任务中,超过九成的任务需要跨越至少两个应用程序,其中有半数任务甚至需要三屏联动:平均下来,绝大多数任务的操作步骤都超过了 100 步,最长的轨迹甚至达到了 300 步以上。

文章配图

为了准确评估智能体的表现,测试设立了两种打分机制:

一种是较为宽松的检查点分数,只要智能体完成了部分中间步骤,就能拿到相应的分数;另一种则是极其严苛的完全通过分数,只有当所有检查点全部通过,任务才算成功,否则直接记为零分。

文章配图

在这场残酷的考试中,世界上所有顶级的大模型都表现得特别糟糕:

所有模型的检查点分数都低于 45%,Claude Opus 4.7 的完全通过分仅 3.8%,而 Kimi K2.5 和 Gemini 3.1 Pro 的完全通过分数则直接为零。

文章配图

四种结构性的问题

研究团队通过深入分析智能体的操作日志和失败轨迹,他们发现:

智能体并不是在某个高难度的算法上遇到了困难,而是被真实世界里极其细微的业务逻辑困住了。

具体来看,可以总结为以下这四个瓶颈:

第一个瓶颈,是长周期任务在数学上的脆弱性。

在漫长的 Agent 调用链中,错误具有累积效应。

假设一个任务有 12 个关键步骤,即便智能体在每一步的准确率都高达 95%,当这些步骤连接在一起时,整体通关的概率也会降低到 54% 左右。而在 SaaS-Bench 中,步骤和检查点往往远超这个数量。

因此所有模型都呈现同一个模式:通过率随任务推进呈下降趋势,没有一个模型能在后半段维持住前期表现。

文章配图

第二个瓶颈,是跨应用操作中的错误的不断放大。

在复杂的有向工作流中,前一步的输出往往是后一步的输入:一旦早期出现了一个语义层面的微小偏差,这个错误就会像滚雪球一样在后续的应用中放大,导致整条业务线崩溃。

在一次模拟软件咨询客户的财务核算任务中,智能体需要创建企业客户 Arcturus Digital。然而,在面对财务软件的表单时,智能体在填写公司名称的同时,顺手填入了联系人 Elena Vasquez 的个人姓名,这无意中触发了软件的个人客户创建逻辑。

此后,智能体继续创建了服务项目、发票和付款,并将所有记录都挂在了个人客户 Elena Vasquez 的名下。虽然财务软件的页面最终显示了账单和余额,智能体也以为自己成功了,但在数据库层面,企业客户 Arcturus Digital 的记录依然是一片空白。

文章配图

而这个在上游仅占 3% 权重的微小误判,直接导致了下游 30% 的分数损失。

第三个瓶颈,是智能体缺乏真正的自我验证机制,它们甚至不知道自己已经做错了。

在日常工作中,人类员工在修改完数据后,通常会习惯性地刷新页面或者核对一下输入框,确认修改已经生效。但智能体似乎没有这种复查的 Harness 设计:它们往往依赖于脑海中的意图,而不是眼前的客观事实。

比如,在上述的报销任务中,Claude Opus 4.6 曾在操作中途敏锐地发现自己填错了日期,并且计划去点击编辑按钮进行修正。但在执行完编辑动作后,它并没有重新读取页面来验证修改是否成功,而是直接进入了打款步骤。

在任务结束的总结报告中,智能体极其自信地写道,账单日期已成功修复。然而,后台的数据显示,那个错误的日期根本没有被改掉。

文章配图

智能体的自我评估和系统的真实状态之间,出现了一个巨大的 Gap。

第四个瓶颈,是同一模型在同一任务上的表现极度不稳定。

当研究人员让同一个模型,在完全相同的初始环境下重复运行三次时,有些模型的得分会从 0.0 直接跳到 0.68。这种不确定性并非来源于外部环境的随机变化,而是因为长流程工作存在严重的路径依赖。

文章配图

在某些关键的分叉点上,智能体在生成动作时的一点点随机扰动,就会让它走上一条完全不同的操作轨迹。

一旦 Agent 在早期进入了某个死胡同,比如在某个不熟悉的界面上反复纠缠,就会迅速耗尽其步骤预算,最终导致任务彻底失败。而这,让长流程的 Agent 行为,变成了一场碰运气的赌博。

SaaS 软件,也许要为 Agent 重新设计

分析完这些失败的原因,我们会发现:

当前智能体遇到的问题,并不是单纯通过把模型变的能力更强,或者通过 Harness 工程就能轻易解决的。

这些瓶颈指向了当前智能体技术路线在深层逻辑上的局限,那就是缺乏对持久状态的持续感知能力:

人类在工作时,脑子里始终装着一个全局的业务地图,知道每一步在系统里代表着什么意义。

而智能体更像是在通过一扇窄窗观察世界,它只关注当前的屏幕截图和 DOM 树结构,做着单步的局部最优选择,却失去了对全局状态的掌控。

文章配图

也许,Harness 工程的下一个阶段就是 Business 工程(业务工程化):

可能就像小扎在做的事情一样:把专家脑海中的业务经验,通过一种模型训练的方式,萃取到模型脑子里。

另一方面,SaaS-Bench 揭示出来的 Agent 在真实业务的不足,可能还有另外一个视角的解释:真实世界,目前还没有一个适合 Agent 的训练环境。

仔细想想,今天我们在电脑里使用的所有 SaaS 软件,从菜单、按钮到层层嵌套的表单,都是为了适应人类眼睛的视觉习惯和手指的点击习惯而设计的。为了让人类不看错,软件界面被设计得越来越直观;但为了实现这种直观,软件底层的 API 和数据模型,被包裹上了一层极其复杂的视觉外壳。

当智能体取代人类成为软件的主要使用者时,这些精心设计的图形界面,反而变成了它们理解世界的障碍。智能体必须费尽心机地去定位按钮、解析下拉菜单、应对页面加载延迟,而在这一系列繁琐的视觉交互中,出错的概率呈指数级上升。

这促使整个行业去思考一个新的共识:

未来的软件生态,或许不应该是我们去训练更聪明的智能体,让它们笨拙地模仿人类去使用这些繁杂的操作界面;恰恰相反,应该是软件本身为了适应智能体的到来,重新设计自己的交互逻辑。

未来,AI Agent 要真正在办公室替人干活,他们需要的不仅是聪明的单步操作,更是做完一件事的系统能力。

当智能体真正成为主要的生产力工具时,面向人类视觉设计的 SaaS 平台,也许都需要在底层为 Agent 重新做一遍。

文章来自于"特工宇宙",作者 "特工小师 特工小智"。

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)