你的设想被证实了！不微调模型也能微调Agent，Memento霸榜GAIA｜UCL最新

你或许也有过这样的猜想，如何让AI智能体（Agent）变得更聪明、更能干，同时又不用烧掉堆积如山的算力去反复微调模型？前天一个来自UCL《Memento》的框架给出了一个非常有意思的答案，它就像是在说，与其让AI去“死记硬背”新知识（微调），不如教它学会“翻阅过去的日记本”（学习经验），在被誉为智能体“高考”的GAIA基准上击败众多对手强势登顶，关键的消融实验和泛化测试也证明，其核心的“经验记忆”机制正是性能飞跃的关键，能带来高达9.6%的绝对性能提升，并展现出持续学习、越用越强的潜力。凭借这样扎实的成果，该项目仅发布三天GitHub就收获了600star，并且作者在几小时前刚开源了Memento的核心代码，https://github.com/Agent-on-the-Fly/Memento，这个思路真的值得我们深入探讨一下。

当前的两难困境：要么“呆板”，要么“昂贵”

您在开发中肯定也感觉到了，我们现在打造LLM智能体，基本上就两条路线，但研究者指出它们都存在明显的局限性

• 固化工作流范式：这类智能体依赖于复杂的提示词工程，开发者预先设定好的、僵化的工作流程。它们在特定任务上表现良好，但缺乏适应性，遇到新问题或环境变化时就无能为力，
• 参数微调范式：这类智能体通过监督微调（Supervised Fine-tuning）或强化学习（Reinforcement Learning）来更新LLM自身的模型参数，从而学习新技能。这种方法虽然灵活，但计算成本极高，需要大量数据，并且可能导致“灾难性遗忘”（catastrophic forgetting）问题，即学会新知识后忘记了旧知识。

Memento：让智能体学会“回忆”

面对这种两难，研究者们提出了一个全新的范式Memento，它的解决方案深受人类记忆机制的启发。人类通过编码和回忆过去的经历（即“情景记忆”）来学习，而不是每次都重塑大脑结构，类似地，Memento让智能体通过一个外部的、不断增长的“案例库”（Case Bank）来学习。

理论基础：记忆增强马尔可夫决策过程 (M-MDP)

研究者将智能体的决策过程在数学上形式化为记忆增强马尔可夫决策过程 (M-MDP)。与标准的MDP相比，它额外引入了一个记忆空间M，用于存储过去经验的集合。

• 在每个时间步t，智能体不仅有一个当前状态s_t，还拥有一个到目前为止积累的案例库M_t。
• 核心决策过程：智能体的策略π被拆分成了两步：

1. 检索 (Retrieve)：首先，根据当前状态s_t和案例库M_t，使用一个“案例检索策略”μ从记忆中选择一个最相关的过往案例c_t。
2. 重用与调整 (Reuse & Revise)：然后，将当前状态s_t和检索到的案例c_t一同输入给一个固定的、未经微调的LLM，让LLM生成最终的行动a_t。

• 学习与更新：执行行动后，智能体会获得奖励r_t，并将这次新的经验(s_t, a_t, r_t)添加到案例库中，实现记忆的增长，即M_{t+1} = M_t ∪ {(s_t, a_t, r_t)}。

学习目标：优化检索策略

Memento的关键在于，它保持LLM的参数不变，学习和优化的只是那个“案例检索策略”μ。为了实现这一点，研究者采用了软Q学习 (Soft Q-Learning)框架，目标是最大化累积奖励和策略的熵，从而鼓励智能体在检索案例时进行有效的探索。最终，最优的检索策略表现为一个基于Q值的Softmax分布，即优先选择那些能带来更高期望回报的案例。关于马尔可夫决策 (M-MDP)我之前写过不少文章，感兴趣您可以看下

卡内基梅隆大学重磅，用这条Prompt让LLM递归内省，多轮交互中自我改进（在新窗口打开）

用这条Q-Star的prompt让LLM拥有MDP，深思熟虑规划你的复杂推理（在新窗口打开）

系统设计：一个“大脑”加一双“巧手”

研究者们将上述理论实例化为一个用于“深度研究”（Deep Research）场景的智能体，其架构可以看作一个分工明确的两人小组。

• 规划者 (Planner) - “大脑”：由GPT-4.1驱动，负责核心的思考工作。它接收用户查询后，会查询“案例记忆”，检索出历史上最相关的K个成功或失败的案例，然后将这些案例与当前任务一起整合到提示中，引导自己生成一个分解式的行动计划。
• 执行者 (Executor) - “巧手”：在GAIA任务中由o3驱动，其他任务中由o4-mini驱动。它不负责想策略，只管把“大脑”制定的每一个子任务精准地执行到位，并且它还装备了一个功能强大的工具箱。

• 信息获取：集成searxng等多个搜索引擎（Google, Bing）和网页抓取工具。
• 多模态信息处理：能够处理图像、视频、音频、PDF、PPT、Excel等多种格式的文件。
• 推理与分析：提供沙箱环境来执行Python代码和进行数学计算。

案例记忆的管理方式Memento的案例记忆模块有两种实现方式，这为系统提供了灵活性。

• 非参数化记忆：这是一种简单直接的方法。当需要检索案例时，它通过计算当前任务与记忆库中所有案例的语义相似度（比如用余弦相似度），然后选出最相似的K个。
• 参数化记忆：这种方法更智能。它会训练一个Q函数（一个小型神经网络），这个函数能根据当前状态s和某个案例c，预测出借鉴这个案例可能带来的回报Q(s, c)。检索时，就挑选Q值最高的K个案例。更重要的是，这个Q函数会利用新的任务经验进行在线更新，让检索策略越来越准。

实力检验：多项基准测试的全面胜利

一个新想法好不好，最终还是要看实际效果，Memento在多个权威基准测试中的表现，确实展现了它的强大实力。

• GAIA：这是一个模拟需要多步骤、多工具协作才能完成的复杂任务的基准，非常考验智能体的综合能力。结果Memento在它的验证集上拿下了87.88%的准确率，直接登顶排行榜第一，证明了其在长链任务规划和执行上的卓越能力。
• DeepResearcher：这是一个考验实时网络研究能力的基准。Memento的F1分数达到了66.6%，显著优于之前基于强化学习训练的SOTA方法。
• SimpleQA：这是一个考察事实问答准确率的基准。Memento取得了惊人的95.0%的准确率，这表明它的方法能有效减少模型产生幻觉的倾向。
• HLE (Humanity's Last Exam)：这是一个测试前沿科学知识和复杂推理的“地狱级”难度基准。Memento的表现同样出色，排名第二，成绩非常接近GPT-5，超过了Gemini-2.5-Pro等一众强力模型。

深入剖析：性能提升究竟从何而来？

为了搞清楚Memento到底强在哪里，研究者还做了一系列细致的消融实验，就像把一辆高性能赛车拆开，看看每个零件的贡献一样。

• CBR的绝对价值：实验清晰地表明，案例推理（CBR）是性能提升的关键。在处理那些它没见过的新类型任务（OOD，分布外）时，启用CBR可以带来4.7%到9.6%的绝对性能提升，这个数字非常有说服力。
• 持续学习的能力：实验数据显示，随着与环境交互的迭代次数增加，Memento的性能呈现出一条稳步上升的学习曲线。这证明了无论是参数化还是非参数化的CBR，都能让智能体有效地“越做越聪明”。
• 案例数量并非越多越好：研究还发现，当检索K=4个案例时，智能体的表现最好。如果检索太多（比如16或32个），性能反而会轻微下降。这告诉我们，智能体受益于一小部分高质量、高相关的经验，而非盲目地堆砌大量可能存在噪声的示例。

写在最后

Memento的出现，与其说是一个对现有智能体框架的优化，不如说是一次对“AI如何学习”这个根本问题的重新思考。它证明了相比于依赖模型参数的“肌肉记忆”，基于过往案例的“情景记忆”在解决复杂问题时可能是一种更高效、也更具扩展性的路径。这项研究用GAIA排行榜第一的硬核实力告诉我们：一个懂得“翻阅日记”、从成功与失败中总结反思的智能体，其成长潜力是惊人的。随着代码开源的临近，AI智能体的进化故事，或许即将翻开名为“经验”的崭新一页。

文章来自于“AI修猫Prompt”，作者“AI修猫Prompt”。