Agnes开源智能体框架,提出TTT适应与Playbook迭代机制

Agnes AI开源Agnes Harness,以决策模型和大语言模型分工处理任务,并介绍TTT方案与受控Playbook迭代。团队公布九项系统自评及仿真案例;这些结果尚不能隔离证明框架本身的收益,也不等于真实物理现场的普遍验证。
编者核对:本文介绍Agnes团队发布的开发者预览和研究材料,未独立复现。OpenAI问卷是对101名研究人员的假设性、自报价值调查,不是实际裁员或替代率。Sys1的TTT部分给出方法与评估计划,未报告实测TTT增益;不能把决策模型的延迟或整个系统分数当成TTT效果。入库、行李房等RSI闭环数字来自孪生仿真,不能与另列真机演示混为现场改进证明。九项基准是指定模型与Harness配对的阶段性自评,六项领先和AppWorld持平只限所列对照,未隔离框架因果贡献。受控策略迭代须保留隔离评估、人工签核、预算和安全边界;开源不等于获得普适可靠性或安全认证。OpenAI研究加速报告与问卷方法(在新窗口打开)Agnes运行框架及预览边界(在新窗口打开)Harness技术报告与仿真/系统评测范围(在新窗口打开)Sys1技术材料与TTT证据范围(在新窗口打开)
OpenAI于11月18日公开研究报告「研究加速:锯齿状前沿」,介绍内部测量与问卷结果。
报告里,他们找来自家101位研究人员,问了一个扎心的问题——
如果团队未来三个月无法使用比GPT-5.2更强的编程智能体,愿意交换多少资源恢复使用?
在这项假设性问卷的分别提问中,受访者愿意交换的团队算力和人数比例中位数为30%和40%;这不是所有人的一致答案,也不是实际削减记录。

这些回答反映受访者自报的工具价值,不能据此换算真实裁员数量或人员替代率。
如今,Agent已经成了顶级实验室,甚至不少人的「命根子」。
可真要把它放进现实世界,去跑通企业流程、指挥机械臂干活,光靠一颗聪明的「大脑」,远远不够。
就在这个节骨眼上,Agnes AI把自家的智能体运行与扩展框架Agnes Harness开源了。
它最大的看点,不只是执行指令,还能够从实践中积累经验、持续改进:
模型层:报告提出TTT(测试时训练)方案,拟让决策模型在请求内进行有限适应;本次Sys1报告未给出TTT实测增益;
系统层:RSI(递归自我改进)自动复盘失败、验证新策略,再把跑通的流程沉淀成Skills和Playbook。
一个让Agent当场学,一个让Agent长期记。
不过在聊它怎么「进化」之前,先看看它是怎么干活的。
大脑想事,小脑干活
先看一个非常简单的任务:仿真环境里,机器狗要在屋里找到一扇门,然后穿过去。
如此简单的事儿,全称交给LLM来指挥,干起来却磨磨唧唧。
每走一步,它都得调一次视觉接口,拍张照,打包发给大模型,然后原地干等。大模型琢磨半天,回一句「门在左前方,往左转15度」。
转完,再拍,再发,再等。大部分时间,都耗在了请求和等待上。
可是人走路的时候,大脑压根不会去管「左脚抬起、重心前移」这种事,全是小脑全自动搞定。
凭啥让AI最贵、最慢的那颗大脑,去包办每一步怎么迈?
换上Agnes Harness的决策模型后,机器狗自己就能秒判「门在不在眼前、距离够不够」,缩短逐步请求与等待;决策步延迟不能等同于整串机械动作在毫秒内完成。
据团队所示仿真案例,同类任务耗时减少32.9%;这不是所有机器人任务的通用实测收益。

这背后,是Agnes Harness的第一个核心设计:双系统决策。
很多Agent的做法是,把大模型摆在C位,做啥都需要问一遍。质量是有保障,可就像每件事都要CEO亲自签字,CEO再能干,流程也快不起来。
想省钱换个轻量模型?速度是上去了,一碰到复杂情况就露馅。快和准,好像只能二选一。
Agnes Harness的设计思路,就是按任务难度去分工。
- 大脑(大语言模型):管深度思考,理解用户意图、拆解复杂任务、做规划、处理突发异常。
- 小脑(决策模型):管快速反应,任务状态已经很明确时,下一步调哪个工具、请求往哪路由、流程怎么走,它直接拍板。
这颗「小脑」,就是Agnes以插件形式接入框架的决策模型Agnes Sys1 1.0。
参数仅有9B,单机就能部署,专攻工具选择、流程判断、请求路由和有序评分,常规任务里能做到亚秒级决策。
不难看出,这套分工跟心理学家卡尼曼提出的「系统1、系统2」如出一辙。一个靠直觉秒反应,一个靠理性慢推演。
常规判断交给Sys1,大模型被调用的次数少了,等待少了,钱也省了。

更关键的是,这颗小脑还可以随时换。
默认配的是Sys1,但开发者也能按场景,随时能换成别的决策模型。
毕竟做客服、跑仓储、审代码,需要的「直觉」各不相同,框架直接把自定义的空间留给了你。
不过,「快」只是解决了一半的问题。
这一次学得会,下一次用得上
真正的智能,不应该只是执行指令。错误地指令执行得再快,还不如不执行。
它必须能在实践中摸爬滚打、积累经验,并持续改进。
为此,Agnes Harness设计了一条从「模型适应」到「系统优化」的双层自进化路径:
模型层探索请求内TTT适应,系统层通过受控RSI迭代版本化Playbook;两者的证据与验证阶段不同。
第一层TTT,让小脑现场学习
通常情况下,训练和推理是泾渭分明的两个阶段。
但在真实业务现场,数据格式千奇百怪,小众语境层出不穷,只靠预训练学到的知识,往往会「水土不服」。
为此,负责高频快速判断的小脑Sys1搭载了TTT(Test-Time Training,测试时训练)机制。
它的工作原理极其精妙:
在Agent面对当前任务材料、准备输出判断的前一刻,Sys1会从当前的上下文中自动提取信息,构建一个轻量、可验证的「辅助任务」。
按该报告提出的方案,模型拟在单次请求内,完成少量的参数更新。为了兼顾速度与稳定性,更新被严格限制在模型末端的RMSNorm缩放参数上。
这就像一名即将上场的狙击手。他不会只凭在训练营里学的理论开枪,而是在扣动扳机前,先抓起一把土,感受一下当下的风速和湿度,迅速调整自己的瞄准镜。
TTT部分描述了面向当前格式与语境的适应方法和评估计划,尚未报告可归因于TTT的实测增益或毫秒级适应效果。
方案拟将适应限制为请求内的局部更新,并在请求结束后恢复基线;恢复设计本身不能证明所有任务中的稳定性,也不应表述成永不退化的保证。
模型在任务中保持了敏锐的嗅觉,这是第一层进化。
第二层RSI,让系统越干越熟练
第二层进化,Agnes Harness则将复盘能力赋予了系统层。
依托Harness的记忆机制(事件账本与状态记录),RSI在系统后台扮演着一个极其严苛的「复盘导师」角色。
RSI会时刻监控Agent的任务执行现场,敏锐地捕捉到哪里报错了、哪个环节因为反复重试导致效率低下。
而识别到问题后,系统会自动复盘,分析上下文与设备状态,推演出新的执行策略(比如调整API调用顺序、增加校验条件)。
技术报告将跨任务Playbook候选放到隔离的孪生仿真中验证,并设置人工签核、试运行及回退条件;它修改的是策略数据,不是模型权重、可执行安全代码或硬件保护。
而最核心一步是经验沉淀。 一旦策略被验证有效,RSI 会将这一套成功的流程,直接沉淀封装为 Skills(技能) 和 版本化的 Playbook(剧本)。
这意味着,系统可将通过所设验证的流程保存为可复用Playbook;跨场景可靠性和仿真到真实现场的收益仍需验证,不能称为必然成功的能力。

实战:看它怎么越干越熟
下面是团队报告的孪生仿真闭环案例,不是实际物理现场改进的独立验证。
设备入库验收看似简单,实际上很考验细节:秤台读数什么时候算稳定,各个步骤按什么顺序执行,任何一个环节出错都可能导致失败。
首次执行时,Agent正是因为不熟悉秤台稳定判断、操作顺序出错,最终超时,耗时30分钟仍未完成。
RSI随后对这次执行进行了复盘,自动记录下秤读数的正确提取时机,并归纳出一份操作手册。
在下一次任务中,Agent按照已验证的流程执行,8分钟内顺利结案。

下面这个,是整套流程中最复杂的一个。
在行李房场景中,Agent需要扫码识别一件易碎行李的归属并完成分拣,同时对另一件行李进行实测称重,判断是否需要暂留。
首次执行时,扫码和分拣都顺利完成,但由于设备操作冲突、称重时机不当,Agent始终没能拿到有效读数。
RSI随后进行了多轮分析与优化,逐步调整设备调用顺序、称重前置条件和读数校验方式,并将跑通的流程沉淀为可复用经验。
优化后,Agent成功测得行李重量为12.60公斤,确认超过标重4.60公斤,并触发暂留条件。
最终,9项评测全部通过,后续三次独立复验也全部通过。

TTT旨在改善请求内适应,RSI旨在积累经验证的策略;本次材料不支持每次判断或每次任务后必然更好的结论。
两层叠加,Agent就不必每次都从零开始。
给AI拼出一副「完全体」
把前面这些拼在一起,Agnes Harness的整体架构就浮现出来了,它几乎就是照着人设计的。
大语言模型是大脑,负责深度思考。Sys1是小脑,负责快速反应。
Harness运行机制本身是记忆,用事件账本记住任务做到了哪一步,用Skills和Playbook记住以前是怎么做成的,长流程做到一半也不会丢三落四。
TTT与RSI分别对应请求内适应方案和跨任务策略积累机制,不能合并视为已经实证的持续自主能力提升。
再往物理世界走,Agent还需要一副身体:MHS(Model Hardware Standard,模型硬件标准)。

在数字世界里,Agent已经很能干了。可一旦要它拧机械臂、读传感器,麻烦就接踵而来:每家设备接口不一样,得一个个适配,几台设备之间要协同就更乱。
MHS是Agnes自身的设备协议,可用于适配机器人、机械臂和传感器等设备,并非认证设备驱动或已确立的通用行业标准;实时控制和物理安全仍由设备控制器承担。
接进来以后,大脑理解人类意图,小脑快速判断每一步,MHS把指令落到具体设备上,还能协调好几台设备一起干。

如下demo中,加上身体之后,Agent可以直接让机器狗去找「瓦力」打招呼了。
从理解一句模糊的自然语言,到读取设备状态、调用摄像头、规划动作,再到真机执行,整个过程无需人工逐步干预。

总的来看,Agnes Harness整个系统由四个部分组成,外加一套贯穿其中的自进化机制:
大脑(大语言模型):负责深度思考,完成复杂推理、任务拆解与规划;
小脑(决策模型):负责快速反应,完成高频、实时的判断与执行,也可按需替换为其他决策模型;
身体(MHS):负责连接机器人、机械臂、传感器等物理设备,让智能体能在真实世界中行动;
记忆(Harness):负责记住任务状态与执行经验,让复杂流程稳定推进、不丢三落四;
自进化机制(TTT + RSI):探索请求内适应和受控策略迭代,不保证每次使用均带来性能改善。
一个像人一样分工的智能体,在实战中,也是非常能打的。
Agnes团队就以「真实任务能不能端到端干完」为指标,做了一轮覆盖九项基准的阶段性自评。
团队公布九项基准的系统自评
Agnes Harness 并非纸上谈兵。
围绕真实任务的端到端完成效果, Agnes Harness团队开展了覆盖九项公开基准的严格自评,并与部分基线进行了对照。
成绩单十分硬核——
在MHS-Benchmark、WorkBuddy Code、AGH-Benchmark、BigCodeBench-Hard V1、τ-bench text-v1和DeepPlanning这六项核心评测中,Agnes Harness均斩获了对照组的最高成绩!
在考察综合能力的 AppWorld-dev 上,也与顶尖的 Codex 表现持平。

对照组中不乏 DeepSeek Harness、Codex、Claude Code 等知名 Harness 系统
其中,最能反映核心架构优势的两项数据令人瞩目:
复杂任务规划DeepPlanning,得分高达87.07。
该分数反映所报模型、工具和Harness组合在这一评测中的表现;没有隔离消融时,不能单凭系统总分证明记忆机制或双系统设计的独立因果收益。
复杂代码任务BigCodeBench-Hard V1,通过率达到40.69%。
这是该系统配对的团队自报通过率,不能单独归因于双系统,也不是跨环境稳定性已被普遍验证的证据。
最值得一提的,是本次公开的MHS-BENCHMARK。
这是一个专门为检验Agent 「软硬兼施」能力而打造的标准化测试集。
它精选了100条极其刁钻的真实任务:
- 40条真实桌面软件任务:覆盖三维建模、视频制作剪辑、表格计算、文档处理、网页交互、图像与音频编辑乃至游戏操作。
- 60条分场地物理作业任务:覆盖真实工厂里的机床控制、精密装配、场内物流调度、自动化巡检,以及水、电、冷链等复杂的物理环境控制。
在这个软硬件跨度极大的测试中,Agnes Harness以41%的成功率在所列配对中高于DeepSeek Harness(40%)和Codex(36%);但桌面GUI子集为9/40(22.5%),仍低于两种对照配对,不能用总分掩盖这一短板。

模型再强、分数再高,这「最后一公里」,终究得有人去跑。
AI的下一步
在企业AI转型中,跑这最后一公里的人,叫FDE(Forward Deployed Engineer,前线部署工程师)。
他们要深入一线,把AI真正部署进企业各不相同的业务流程里。
Agnes Harness的插件化架构,简直是为FDE量身定做:
模型适配器、工具、角色,乃至于 RSI 沉淀下来的 Skills,全都可以封装为带版本管理的插件。
通过 MCP 机制,可以无缝接入企业现有的后端 ERP 或 MES 系统。
这意味着, 每一次交付,都在为下一次交付积累底座。
不仅如此,Agnes Harness的全面开源,为企业审计和部署选择提供了一种路径,但不自动保证全部数据与依赖均由企业完全掌控:智能体的能力与数据,究竟掌握在谁手里?
公开代码可供审计,插件化模型与Playbook可支持复用;实际部署的数据处理、资产权利及外部依赖仍取决于所用模型、服务和许可。MHS是项目自有协议,不能仅因开源就认定已打破所有硬件壁垒或不存在安全风险。
Agnes Harness 提供了一条真正自主掌控、去中心化的演进之路。
如果你也苦恼于昂贵的 Token 账单,受够了每天为 Agent 修改重复报错的提示词,不妨去 GitHub 克隆代码,亲自探索、体验与共建这种「自进化」Agent 吧。
AI 的下一步,不只是理解世界,而是去适应并改造世界。
- Agnes Harness GitHub 仓库:https://github.com/AgnesAI-Labs/agnes-harness
- Agnes Harness RSI 技术报告:https://github.com/AgnesAI-Labs/Agnes-Harness-Technical-Report-Nov-2026
- Agnes Sys1 1.0 决策模型技术报告:https://github.com/AgnesAI-Labs/Agnes-Sys1-1.0-Technical-Report
文章来自于微信公众号 “新智元”,作者 “新智元”
相关主题
读完之后
加入 AINRK 交流群
了解加入交流群的方式,与更多 AI 从业者交流。




