AI news

80%代码由Claude合并,Anthropic内部人员点破Agent真相:「Close the Loop」

By 机器之心编辑部0 viewsSource: 机器之心
80%代码由Claude合并,Anthropic内部人员点破Agent真相:「Close the Loop」

最近,Anthropic 团队研究产品经理 Theodora(Theo)Chu 的一段演讲视频,引起了大家的注意。

The full text has not been translated yet. The Chinese original is shown below.

最近,Anthropic 团队研究产品经理 Theodora(Theo)Chu 的一段演讲视频,引起了大家的注意。

Theo 表示,当前越来越多的开发者已经不再只是「听说过 Claude」,而是在日常工作中真正感受到效率提升。有人认为 Claude 让自己效率翻倍,也有人认为提升了 10 倍。更重要的是,Claude 已经开始深入 Anthropic 自身的工程流程,「Anthropic 内部超过 80% 的代码由 Claude 合并。」

文章配图

这意味着,模型的角色正在发生变化。

模型不再只是停留在回答问题阶段,而是在一个可以反馈、验证、修正的环境里持续完成任务。「Close the Loop(闭合循环),给模型一种验证自身输出结果的方式。」

而在这场分享中,Theo 想要告诉开发者的是,「你应该如何适应这个新世界,又应该如何面向未来构建产品,而不是只为过去构建产品。」

为此,Theo 详细拆解了如何构建能够自我改进的 Agent,「真正的配置,是让 Claude 在循环、计划模式和动态工作流中持续运行。」

网友 rari@0xwhrrari 认为,「这要比大多数 300 美元的 Agent 课程都要好。」

那么,接下来,我们就来详细了解一下这场演讲到底讲了什么。

文章配图

一年之内,模型失败率被大幅压低

Theo 用编程评估基准 SWE-bench Verified 举了一个例子,它由一系列 GitHub issue 组成,模型需要理解问题、修改代码,并通过测试来证明自己真正解决了任务,这是 Anthropic 内部用来观察 Claude 编程能力提升的重要评测:

一年前的 Sonnet 3.7 得分仅为 60% 左右,而到了 Opus 4.8,得分已经达到了 88%。

文章配图

这意味着,一年前的模型在这些任务上的失败次数,大约是现在的 3 倍。

这也是演讲中最值得注意的地方:模型能力提升,并不只是「多做对几道题」,而是失败率正在快速下降。失败率下降之后,模型才有可能承担更长、更复杂、更接近真实工作的任务。

此外,更不可思议的是,在最新的 Mythos 和 Fable 系列模型中,该基准测试实际上已经出现接近饱和的迹象。换句话说,一些过去足够难的测试,今天可能已经不再能有效区分模型能力。

这对开发者来说是一个重要信号:如果你还在用 12 个月前的任务测试今天的模型,就很容易低估模型真正的能力边界。

而新模型这种智能的增长,具体落在了以下三个核心领域:

一是先规划,再行动

Theo 展示了同一个任务在两个不同模型上的表现:让模型一次性重建 Claude.ai 网站。

结果表明,旧模型的典型做法是,上来就开始写大量代码、调用大量工具,几乎没有充分规划。结果是,界面看起来似乎合理,但实际运行并不完整,功能也不能真正闭环。

「有点像我装宜家家具时的样子:一上来就动手,根本不看说明书,先开始拼,拼着拼着发现做错了,然后才意识到自己应该回去看说明书。」

而以 Opus 4.8 为代表的新模型则表现出了自适应思考(Adaptive thinking)的能力。它们会先在内部深思熟虑具体的规范,在预先规划的过程中及时捕捉错误(你甚至会在逻辑推理中看到它们输出「实际上……」或「算了,还是……」这样的自我修正词)。

这种先规划后行动的方式,让模型在第一次实际执行时就能高效落地,大幅减少了不必要的工具调用与代码行数。

因此,Theo 给开发者的建议是:要允许模型先思考。

文章配图

产品体验也应该为这种思考留下空间:比如使用自适应思考,让模型自己判断什么时候需要思考、需要思考多久。简单问题不必让模型大动干戈,但复杂任务应该给它足够的规划空间。

二是错误恢复和自我纠正

过去很多人做 Agent,重点放在「让模型能调用更多工具」。但 Theo 强调:工具调用本身还不够,模型必须知道自己什么时候做错了。

旧模型有一个常见问题是 doom looping:模型接到任务之后,如果失败了,你告诉它:「嘿,我觉得你应该换一种方式做」。或者,环境给了它某种反馈,提示它应该做另一件事。它会说:「好的,我再试一次。」

但当它再次尝试时,往往又会回到之前同样的解法,并不会真正改变做法。

新模型在这方面进步明显。它能够读取反馈、理解失败原因,然后尝试不同路径。这样一来,模型不再只是被动执行命令,而是开始具备某种错误恢复能力。

这对 Agent 产品尤其关键。因为只要任务足够长,模型就一定会遇到错误:代码跑不通、页面点击失败、测试没有通过、用户反馈不满意、环境返回异常结果。真正有价值的 Agent,不是永远不犯错,而是犯错之后能不能恢复。

因此,Theo 认为,开发者需要重新设计模型所处的环境。环境要能给模型反馈,让模型知道自己哪里做错了。

文章配图

「这也意味着,模型不会因为 doom looping 而浪费 token,而是可以用更少的 token 完成任务。」

比如,如果你正在做一个应用生成 Agent,就应该给它访问前端界面的能力,让它可以自己点击、自己测试、自己判断按钮是否可用、页面是否正常。

模型只有拿到这些验证信号,才有可能形成:执行 → 验证 → 修正 → 再执行。

而这一点,也正是前面网友 rari@0xwhrrari 认为很重要的一点:close the agent loop(闭环智能体循环),「Loop 设计,让模型能够验证自身的输出结果。」

三是模型越来越擅长在更长任务周期上运行

旧模型在长任务中经常会陷入「跟丢主线」(Losing the plots)的窘境,用户给它一个长任务,它做着做着就忘了最初目标,或在执行到一半时遗忘最初的上下文或核心指令。

而现在,模型在长程任务的上下文连贯性上有了显著突破,能够稳定地将注意力维持在 100 万个 Token 甚至更高的级别。这意味着开发者不再需要把上下文窗口切得那么碎,而是可以直接将整个代码库递给模型。

文章配图

未来更合理的方式,是把更完整的任务交给模型。比如,给它整个代码库,而不是只给它某个文件;给它完整产品需求,而不是只给一个孤立函数;让它跑完整流程,而不是只完成一个局部步骤。

当规划能力、错误恢复能力和长上下文能力叠加到一起,Agent 的形态就会发生变化。

它可以先规划,再执行;执行之后,通过工具或人类反馈验证结果;如果发现问题,就调整计划,继续执行。这个循环持续进行,直到最终完成任务。

开发者该如何为未来进行构建?

因此,随着模型变得越来越智能,用户基本上可以让它运行更长时间,而它完成任务的效率和效果都会比过去更好。

那么,从战术上讲,用户现在到底应该如何为这个「未来」构建产品?也就是说,如何为正在变得越来越强的模型构建产品?

Theo 认为,开发者在产品与工程层面需要全面升级自己的研发战术:

一是主动保持野心,动态刷新评估基准(Evals)

首先,要更大胆地尝试、允许 Claude 处理更多事情,不要总是测试那些你觉得 Claude 12 个月前就能完成的任务,而应该开始思考那些 Claude 今天还做不到的任务,并持续关注这些任务。

另外,在模型快速进步之后,开发者最容易遇到的一个误判是:觉得新模型没有明显提升。其实,背后原因可能不在模型,而在 Evals。

Theo 提到,有些客户在新模型发布后会说:「我的 Evals 只提升了 1%,所以这个模型好像没强多少。」但真正用起来之后,他们又会发现,新模型在某些能力上提升非常明显,只是原来的 Evals 根本没有测到。

这说明,Evals 也会过时。

AI 时代,Evals 有点像单元测试,它可以帮助开发者判断模型是否真正具备某种能力,也可以帮助产品团队追踪模型变化对用户体验的影响。但一个好的 Eval,不能只测试今天模型已经会做的事情,还应该包含今天模型尚未完全解决、但未来用户体验真正需要的任务。

换句话说,Evals 要面向未来设计。不要只盯着眼前的客户体验,要将用户报告的最新失败模式,以及你希望应用未来发展的方向融入到测试用例中。如果某些遗留问题被证明不可解,请立刻更新更难的题目。

二是精简「脚手架」(Shrink the Scaffolding)

Theo 反复强调的另一个建议是:shrink your scaffolding,缩小模型周围的「脚手架」。

所谓「脚手架」,即在工程实践中,开发者为了修补旧模型的各种漏洞,在其周围套上的系统提示词、外部工具、代码 Harness,以及各种围绕模型搭建的约束和补丁。

比如,模型某次引用格式错了,就加一条规则;模型某次没遵守要求,就再写一段约束;模型某次调用工具失败,就在外层加更多逻辑…… 这些补丁在旧模型时代可能有用。但当新模型的指令遵循能力变强之后,旧补丁反而可能成为问题。

Theo 举了 Anthropic 自身的一个例子。团队曾一度以为新模型在 Claude.ai 的引用功能上出了 Bug,后来检查才发现,是因为新模型遵循指令的能力大幅提升,导致它极其听话地去执行了一行很久以前写在系统提示词里、但现在已经过时的引用格式指令。团队最终只需将那行过时的提示词彻底删掉,功能便恢复了正常。

这说明,开发者应当「针对意图」去编写简洁的提示词,明确最终想要的结果,而不是围绕着过去老模型的失败经验去过度包装。给模型松绑,精简「脚手架」,让它拥有更多的自主权,你才能看清它真正的天花板在哪里。

三是闭环设计,让模型验证自身的输出结果

模型要完成更复杂的任务,只会思考还不够,它还需要动作能力。

这是构建自改进 Agent 最核心的底层逻辑。既然模型已经具备了极强的错误恢复能力,就必须在工程上「闭环智能体循环」(Close the Agent Loop):

  • 给模型留出思考与工作的空间:引入自适应思考机制。在产品设计上允许模型进行前端思考,甚至可以通过投入度拨盘(Effort Dial)让模型可以自由上调或下调在某个复杂问题上的钻研程度。

  • 以受控的方式开放高权限:想要发挥 Agent 的自主性,就必须赋予它在环境里采取行动的权限。Anthropic 在 Claude Code 中推出了「自动模式」分类器,它能够在「开发者的控制欲」与「模型的自主权」之间找到完美平衡,自动甄别哪些行动是安全可取的,防止模型误删环境。

  • 提供自我质检的工具:应该为 Agent 配备诸如 「Computer Use」这样的自动化验证工具,让智能体能够自己去前端到处点一点、做质检,通过环境的真实反馈发现自身的错误,从而实现代码的自我迭代与修正。

参考链接:

https://x.com/0xwhrrari/status/2069163624375976103

文章来自于"机器之心",作者 "机器之心编辑部"。

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)