AI Agent安全不能只靠Prompt了:上海AI Lab探索Agent安全进化新范式

大模型 Agent 进入浏览器、邮件、数据库和业务系统后,安全评估如果仍只检查最终回复是否包含有害内容,覆盖面会明显不足。Agent 需要规划步骤、读取外部信息并调用工具,风险可能出现在执行过程中的任一环节。
大模型 Agent 进入浏览器、邮件、数据库和业务系统后,安全评估如果仍只检查最终回复是否包含有害内容,覆盖面会明显不足。Agent 需要规划步骤、读取外部信息并调用工具,风险可能出现在执行过程中的任一环节。
网页中的隐藏指令可能改变任务目标,邮件或文件内容也可能被误判为用户命令。工具权限过宽会导致越权调用;错误记忆和过期计划则可能使多轮执行逐渐偏离原始授权。这类失败通常不是某一次模型输出单独造成的,而是 Policy model、Harness、工具、记忆与环境状态叠加的结果。
安全修复也因此变得复杂。整体改写 Prompt,很难确认哪项调整真正生效;持续增加拒答规则,容易损伤正常任务的完成能力;只更新模型参数,新出现的风险又难以及时进入运行时控制。如何把执行过程中暴露的问题转化为可复用、可验证的安全经验,成为 Agent 安全的一项基础问题。
上海人工智能实验室联合复旦大学、上海交通大学、香港科技大学和浙江大学,围绕这一问题先后提出 SHE 与 SafeEvolve。两项工作都从完整执行轨迹出发:SHE 研究安全 Harness 如何从失败中演化,SafeEvolve 则进一步探索这些经验如何被 Policy model 吸收。
SHE:从执行轨迹中更新安全 Harness

Harness 负责组织上下文、管理记忆、调度工具和约束权限。现有安全机制通常在部署前写入 System Prompt、规则库或工具策略,上线后相对固定。一旦任务流程、外部环境或攻击方式发生变化,原有边界便可能失效。
SHE 没有把 Harness 视为一段不可分割的配置,而是将其拆解为四类安全组件:System Prompt 负责总体原则与任务边界;Rule Bank 保存结构化、可复用的规则;Safety Memory 沉淀反复出现、暂时难以固化为规则的失败;Tool Policy 规定工具调用的条件与范围。这样的划分使局部修订成为可能,也便于验证和回滚。

每轮演化从完整轨迹开始。用户请求、中间上下文、模型响应、工具调用、环境反馈和任务结果都会进入分析过程。系统据此判断风险出现在哪一步、现有约束为何失效,以及应由哪个组件承担修复责任。如果 Agent 将网页或邮件中的内容误认为用户命令,更新会落在指令优先级与不可信内容识别规则上;如果调用了与任务无关的敏感工具,Tool Policy 则成为主要修订对象。尚不足以抽象为稳定规则的案例,可以先进入 Safety Memory。
每个候选版本还要经过有效性检查和安全 — 效用验证,防止系统通过扩大拒绝范围或削减工具能力获得表面上的安全增益。论文中的应用推荐案例很好地说明了这一点:用户只要求介绍一款应用,Agent 却继续尝试设备级安装。SHE 学到的并非禁止应用相关任务,而是保留介绍、比较与提供官方下载入口的能力,同时要求安装前取得明确授权,也不能把未完成的操作描述为已经完成。
实验在 Agent-SafetyBench 上使用 15 个任务演化 Harness,并在其余 185 个任务上评测,覆盖上下文投毒、间接注入、工具篡改、记忆注入和组合攻击等情形。与静态 SafeHarness 相比,SHE 将平均攻击成功率从 17.1% 降至 5.5%,攻击条件下的任务可用性从 31.6% 升至 47.6%。在未参与演化的 AgentHarm 上,危害得分由 19.8% 降至 9.8%。演化得到的安全边界还能够迁移到其他 Agent 模型,无需按模型重新完成整套过程。
SHE 建立了从轨迹诊断到 Harness 更新的路径。不过,外部约束能够限制 Agent 的行为,并不意味着 Policy 已经理解并掌握了相同的安全边界。

SafeEvolve:将安全经验进一步写入 Policy

当安全知识只存在于 Harness 中,模型仍可能依赖外层拦截。面对规则未覆盖的风险变体,或进入更长的工具调用链路后,早期给出的约束仍可能逐渐失效。SafeEvolve 因此将 Policy 优化纳入演化过程,希望把通过验证的 Harness 经验转化为模型自身更稳定的决策能力。

在 Harness 侧,SafeEvolve 从轨迹中提炼 Safety Prompt 和分层 SkillBank。SkillBank 既保存通用安全原则,也包含面向具体任务与工具的操作经验,例如识别网页中的不可信指令、发送邮件前核验附件权限,以及在授权不明确时请求用户确认。推理时,系统根据当前任务检索相关 Skill,而非将全部规则一次性写入上下文。
Policy 训练分为两个阶段。Harness-use SFT 在演化后的 Harness 下收集轨迹,只有同时通过安全性与任务效用检查的样本才会进入训练,使模型学习何时调用安全 Skill、如何区分用户目标与环境诱导,以及阻断危险操作后如何继续完成合理任务。
随后,Harness-augmented RL 在 Safety Prompt 和动态检索 Skill 的辅助下进行多步探索,由 Verifier 分别评估任务完成情况、危险行为和工具调用有效性。相比 SFT,RL 关注整条执行轨迹,可以进一步约束 “前半程遵守规则、后半程逐渐失守” 的行为。正常任务应继续执行;面对明确有害或越权的请求,应予以拒绝;如果恶意指令来自环境,则忽略注入并延续用户原本的任务;授权不清时,先确认再行动。

在 Qwen3.5-4B 上,SafeEvolve 将 AgentDojo 攻击成功率从 2.37% 降至 0.79%,干净任务效用由 59.79% 升至 61.86%;在 AgentHarm 上,危害得分由 56.45 降至 12.27,拒答率从 28.98% 升至 83.83%。Qwen3-4B 上的结果呈现出相同趋势:AgentDojo 攻击成功率从 13.38% 降至 2.42%,干净任务效用从 44.33% 升至 60.82%,攻击条件下的任务效用也从 35.91% 升至 52.05%。


两项工作推动 Agent 安全的三步演进
第一,从静态安全配置转向轨迹驱动的持续更新。安全经验不再停留在事后日志中,而是经过诊断和验证,进入下一轮 Harness 演化。
第二,从整体式安全规则转向组件级责任划分。System Prompt、Rule Bank、Safety Memory 和 Tool Policy 分别承担不同职责,使问题可以被定位,修改也能够单独验证和回滚。
第三,从单独更新 Harness 转向 Harness 与 Policy 协同演化。Harness 可以较快记录新风险,Policy 则通过 SFT 与 RL 逐步吸收这些经验;更新后的 Policy 继续产生新轨迹,为 Harness 暴露尚未覆盖的问题。
这一路径并不意味着 Agent 安全已经能够自动解决。轨迹诊断与 Verifier 评分仍可能出现误差,基准测试中的改善也不能直接等同于线上环境不会再被绕过。两项工作的意义在于,它们将安全从部署前的一次性配置,推进为一种能够根据执行经验持续修订的系统能力。
论文
- SHE: Trajectory-driven Safety Harness Evolution for LLM Agents
- 论文链接: https://arxiv.org/abs/2608.09885
- SafeEvolve: Harness-Policy Co-Evolution from Agent Experience for Safety Alignment
- 论文链接: https://arxiv.org/abs/2609.02786
作者
- 曲婉莹,复旦大学博士研究生,研究方向为智能体安全对齐、自进化。
- 毛庆华,上海交通大学博士研究生,研究方向包括可信图神经网络、大模型安全对齐和智能体安全。
- 刘东瑞,上海 AI Lab 智能体攻防系统中心负责人,获 WAIC 云帆奖和上海市高层次人才。负责国际首个智能体守卫模型 AgentDoG 研发,组建 DoGNAVY 战队,获 CVPR 2024 最佳论文候选奖,ACL 2025 杰出论文奖。
文章来自于"机器之心",作者 "机器之心"。
Related topics
After reading
Join the AINRK community
Read how to join the community and connect with people working in AI.




