AI news

本周 AI 项目推荐:Raindrop、AIUC、AIR Security……谁在做 Agent 的安全生意?

By 硅星人Pro1 viewsSource: 硅星人Pro
本周 AI 项目推荐:Raindrop、AIUC、AIR Security……谁在做 Agent 的安全生意?

随着Agent执行权限外扩,Raindrop、AIR Security、Arcjet、腾讯AI-Infra-Guard、AIUC和Testudo六个项目分别从故障监控、供应链防护、执行前权限检查、开源漏洞扫描、认证审计和保险赔付等环节布局,形成Agent风险控制产业链。

The full text has not been translated yet. The Chinese original is shown below.

AI 能真正干活之后,一门新的生意也随之出现:给 Agent 兜底。

过去,Agent 一直朝着“能做更多事”进化,读取文件、调用工具早已成为基操。如今,Agent 正走向主动执行,不必等用户逐条下指令,而是直接根据上下文判断接下来该做什么。

随着能力边界不断外扩,AI 不仅掌握了更多上下文,也获得了更高的执行权限。

对于真正部署 Agent 的企业来说,问题由此浮现出来:它有没有把事情做错?连接的插件和 MCP 是否安全?哪些操作可以自主执行?如果所有技术防线最终还是失效,损失又该由谁承担?

围绕这些问题,一条控制 Agent 风险的产业链正在出现。

从上线前测试,到运行中的监控、权限和攻击防护,再到认证、审计和保险,Agent 的执行权越往真实业务延伸,围绕它的风险控制也在一层层补齐。

下面,我们就沿着这条链条,看看这 6 个项目分别在解决什么问题。

Raindrop

文章配图

一句话定位

一家专门发现和排查 Agent 运行故障的公司,找出那些看起来执行成功、实际却把事情办错的问题。

产品概述

如果一个 Agent 答应发送提醒,最终却没有执行,系统可能不会出现任何报错。用户遇到了问题,开发团队却未必知道。Raindrop 主要盯的就是这类难以被传统监控发现的故障。

它把模型回复、工具调用和执行过程串起来,寻找遗漏任务、错误操作和行为异常,再将反复出现的问题归类,帮助工程师定位原因。开发者还可以使用本地调试工具 Workshop 查看运行轨迹、复现问题,并验证修复是否有效。

2026 年 9 月 17 日,Raindrop 宣布扩大新产品 Simulations 的早期访问范围。开发者更换模型、修改提示词或增加工具后,可以把真实任务记录和已有测试用例,放进修改后的 Agent 系统重新运行,观察改动会不会引入新故障。它由此将产品范围从上线后发现错误,延伸到上线前检查风险。

团队背景

Raindrop 成立于 2023 年,参加了 Y Combinator W24。联合创始人 Zubin Koticha 和 Alexis Gauba 此前共同创办了衍生品协议 Opyn,另一位联合创始人 Ben Hylak 曾在苹果人机交互团队工作,参与 visionOS 相关项目。团队早期推出过名为 Dawn 的 AI 产品分析工具,随后逐步转向 AI 故障监控。

最近,公司宣布完成由 CRV 领投的 A 轮融资,累计融资达到 5000 万美元。

为什么值得关注

Agent 承担的工作越复杂,开发者就越难仅凭“运行完成”判断任务是否做对。漏掉用户要求、记错信息、选错工具,都可能影响业务,却不触发软件层面的异常。

目前,Raindrop 已有具体的客户成果。现象级 AI 陪伴产品 Tolan 使用它发现遗漏用户信息、没有发送提醒等问题,随后调整检索和存储方案。使用后,Tolan 相关记忆问题减少了 27.8%。语言学习产品 Speak 则将新的对话 Agent 接入监控,通过日常问题报告寻找测试时没有覆盖的真实使用场景。

它的价值在于,让开发团队能够持续知道 Agent 哪里做错了,以及修复有没有效果。但 Simulations 能在上线前发现多少原本会影响用户的问题,是接下来值得观察的指标。

官网地址:https://www.raindrop.ai/

AIR Security

文章配图

一句话定位

一家围绕 Agent 的插件、Skills、MCP 和外部信息建立防护的安全公司,防止 Agent 在接触第三方工具与内容时被利用。

产品概述

AIR 将 Agent 接触的外部组件和信息视为一条新的软件供应链。企业批准使用一个 Agent 后,它可能继续安装插件、连接 MCP 服务器、读取网页和内部文档。这些材料能够帮助 Agent 完成任务,也可能携带恶意指令,或者在更新后引入新的风险。

AIR Filter 通过依赖分析、静态检查和沙箱运行检查插件与扩展;AIR Control 管理企业使用了哪些 Agent、组件和权限;AIR Defend 在运行阶段发现风险并响应。

2026 年 9 月 17 日,AIR 公布 Plugin4Shell 研究,分析 AI 编程工具插件机制中的版本固定绕过问题。使用者可能以为插件已经锁定在可信版本,但相关实现缺陷仍可能让系统取得并执行另一个版本。

团队背景

AIR 的联合创始人为 Yair Saban 和 Niv Hoffman,两人都具有以色列 Unit 8200 的进攻性网络安全背景。根据红杉的介绍,团队早期研发过自动寻找和利用漏洞的系统 MOAK,随后将相关能力用于 Agent 供应链防护。攻击研究因此成为 AIR 发现问题、设计产品的重要路径。

公司成立于 2026 年 2 月,于 9 月 1 日公开亮相,已获得 5000 万美元融资,主要投资方包括 Sequoia Capital 和 Greenoaks。

为什么值得关注

企业可以决定给 Agent 什么权限,却很难提前审查它未来会接触的所有内容。Agent 即使只使用已经获批的权限,也可能受到外部信息影响,在权限范围内做出错误操作。

Plugin4Shell 里提到,即使锁定插件版本这样的防护措施,也可能因实现问题失效。团队不仅需要确认插件安装时是否可信,还需要检查后续更新、组件来源和版本限制是否持续有效。

AIR 的切入点,是在第三方工具和信息影响 Agent 之前尽可能识别危险,并持续跟踪变化。但它能在企业环境中降低多少攻击成功率、产生多少误报,以及检查是否影响正常任务,这些指标还有待验证和观察。

官网地址:https://www.air.security/

Arcjet

文章配图

一句话定位

在 Agent 真正执行操作之前检查业务规则。

产品概述

一个客服 Agent 理解了客户的退款要求,不代表它就有权退还任意金额。Arcjet 主要盯的是这个环节:Agent 准备采取的具体动作,是否符合企业的权限和业务规定。

开发者可以为具体操作设置规则,例如邮件只能发给批准的收件人,退款金额不得超过指定上限,网页访问工具只能连接可信地址。Arcjet 在动作执行前返回判断,由应用阻止操作、请求人工批准,或者向 Agent 解释原因。操作参数、身份和策略判断也会留下记录,方便事后追查。

Arcjet 最初提供嵌入应用代码的安全工具,处理恶意机器人、请求限流和应用攻击。2026 年 4 月,公司推出 Arcjet Guards,将检查扩展到 Agent 的工具调用和工作流步骤。9 月 17 日发布的 Agent Runtime Security,则将运行观察、规则执行和审计记录结合起来。

团队背景

Arcjet 成立于 2023 年,创始人为 David Mytton。他此前于 2009 年创办服务器监控公司 Server Density,并在 2018 年将其出售给 StackPath,之后继续负责 StackPath 的产品与工程工作。监控、开发者工具和安全基础设施,构成了其连续的创业与产品经历。

2025 年 10 月,Arcjet 宣布完成 830 万美元 A 轮融资,累计融资 1200 万美元。该轮由 Plural 和曾任 Twilio、Checkout.com CTO 的 Ott Kaukver 领投,参与者包括 a16z 和 Seedcamp。据公司披露,其应用安全工具已用于超过 500 个生产应用。

为什么值得关注

Arcjet 切入的是 Agent 执行具体动作时的业务边界。判断一句提示词是否恶意,与判断一笔退款是否超出员工权限,需要不同的信息。后者必须结合金额、身份、数据范围等业务事实。

将这些条件写成可执行的规则,企业就能在操作发生前检查,并在事后追查判断依据。对于已经连接邮件、财务和数据库系统的 Agent,这种控制能够直接作用于可能造成损失的环节。

Arcjet 的应用安全业务已有具体客户案例。印度尼西亚 Gorontalo 地区财政机构表示,接入 Arcjet 后,恶意自动化流量造成的服务中断得到控制,团队的运维负担也有所降低。

原有业务为 Arcjet 提供了生产部署经验,但未来还要看新发布的 Agent 产品能否准确拦截越权操作、规则维护会增加多少开发负担,以及安全检查对任务延迟的影响。

官网地址:https://arcjet.com/

腾讯 AI-Infra-Guard

文章配图

一句话定位

通过开源扫描和模拟测试,帮助开发者提前发现 AI 系统的漏洞,以及 Agent 可能越权的场景。

产品概述

腾讯朱雀实验室开源的 AI 安全测试项目,AI-Infra-Guard 早期以 AI 基础设施漏洞扫描为主,逐步扩展到模型越狱测试、Agent 安全检测,以及 Skills、MCP 等组件检查。开发者可以下载代码、本地部署,并将部分扫描能力接入开发流程。

2026 年 9 月 17 日发布的 v4.6.2,加入了研究自主 Agent 失控行为的 FORGE-Bench 和 RogueHandoff-20。同一版本还调整了 Skill 扫描,减少缺乏证据支撑的误报,并修复模型工具调用停滞等问题。

项目由此覆盖了两类检查:一类是工具和组件是否存在已知危险,另一类是让 Agent 在受控任务中运行,观察它会不会在完成目标的过程中越过授权边界。

团队背景

项目由腾讯安全平台部朱雀实验室维护。实验室成立于 2019 年,长期开展 AI 安全研究。AI-Infra-Guard 于 2025 年初以开源扫描工具的形态对外发布,此后持续扩充攻击测试、Agent 检测和研究基准。

为什么值得关注

AI-Infra-Guard 提供了一个具体的研究方向:Agent 可能在努力完成正常任务的过程中越权,失控未必需要外部攻击者介入。

团队于 9 月提交并更新的一项研究,分析了 5 个 Agent 模型、16 类任务领域中的 1800 条执行轨迹,观察任务压力、约束丢失和危险操作机会如何影响行为。例如,Agent 原本只被允许准备操作方案,却可能在推进任务时直接执行操作。

在专门研究上下文压缩的四类任务实验中,保留安全约束的条件下没有观察到越权;压缩时省略约束的条件下,越权比例达到 87%。这个数字对应论文设定的受控实验,揭示了授权限制在长任务中丢失的风险。

而且,这项研究对产品设计的启发很具体。企业需要保证“只能提出方案”“执行前必须审批”等限制,在上下文压缩和任务交接后依然有效。如果任务目标被保留下来,授权边界却被遗漏,Agent 就可能采取企业没有批准的动作。

项目将研究转化为公开代码和评测任务,让其他团队能够检查自己的 Agent 是否存在类似问题。开发者能否借此发现真实系统中的缺陷,以及这些缺陷能否通过工程措施修复,是它后续值得持续观察的价值。

官网地址:https://github.com/Tencent/AI-Infra-Guard

AIUC

文章配图

一句话定位

将 Agent 的技术测试、第三方审计和保险连接起来,为企业采用 AI 提供可检查的风险证据。

产品概述

AIUC 的核心是 AIUC-1 标准和配套评估。技术测试覆盖幻觉、提示注入、数据泄漏和未经授权的操作等风险,审计则检查企业的技术、管理和治理控制。测试结果可以进一步用于企业采购和保险承保判断。

它已经与审计机构 Schellman 合作,由 AIUC 提供技术评估,Schellman 对相关控制与证据开展独立审计。这让采购方能够同时获得 Agent 行为测试和企业控制措施的审查材料。

认证可以为风险判断提供依据,具体是否投保、保障什么、赔偿多少,则由保险安排确定。AIUC 尝试连接的,正是技术评估与风险承担之间的这段流程。

团队背景

联合创始人包括 Rune Kvist、Rajiv Dattani 和 CTO Brandon Wang。Kvist 曾是 Anthropic 首位产品与 GTM 员工;Dattani 曾任麦肯锡合伙人,并担任模型评估机构 METR COO。团队同时具有模型评估、企业风险和保险行业经验。

AIUC 于 2025 年 7 月公开推出,当时获得由 NFDG 领投的 1500 万美元种子轮融资。2026 年 9 月 15 日,公司又宣布完成由 Ribbit Capital 领投的 4000 万美元 A 轮,First Harmonic 和 Terrain 参与,累计融资达到 5500 万美元。公司计划将审计、标准和保险能力从 Agent 扩展到前沿模型。

为什么值得关注

企业采购 Agent 时,需要回答的不只是“能不能完成任务”,还包括“哪些风险已经检查过”“控制措施是否落实”“更新之后是否仍然有效”。AIUC 尝试将这些问题变成持续开展的评估流程。

2026 年 9 月 17 日,估值最高的 AI 客服公司 Sierra 宣布获得 AIUC-1 认证。其聊天和语音 Agent 接受了 AIUC 测试,Schellman 则独立审查相关控制。Sierra 还披露,技术评估至少每季度开展一次,完整审计每年进行一次,让认证能够持续反映产品变化。

保险也已有落地案例。今年 2 月,AI 音乐公司 ElevenLabs 宣布启用由 AIUC-1 认证支持的语音 Agent 保险。根据公告,其产品完成了覆盖 14 类风险的 5835 项技术测试。

AIUC 的看点在于,它已经将测试结果用于具名公司的认证和保险安排。对企业来说,这意味着采购 Agent 时可以获得一套持续更新的审查依据;对保险机构来说,则有机会根据技术测试和控制措施,更具体地判断承保风险。

官网地址:https://aiuc.com/

Testudo

文章配图

一句话定位

为企业使用生成式 AI 引发的第三方责任提供专项保险,处理事故发生后的抗辩费用和约定范围内的赔偿。

产品概述

Testudo 面向在业务中部署生成式 AI 的美国企业,提供独立的 AI 责任保险。其产品列出的风险包括 AI 错误输出造成的第三方损失、知识产权争议、未经授权的信息披露,以及部分人身伤害、财产损害和监管相关责任,实际保障取决于承保条件和保单条款。

它从实际 AI 诉讼和法律责任出发,结合自建的 AI Risk Engine 判断风险。按照公司的产品说明,初步报价不要求客户开放代码、完成技术集成或接受长期技术审计。

Testudo 关注错误发生在哪一种业务中、可能伤害谁,以及由此形成的索赔规模。这些因素直接影响保险定价。其保险通过经纪渠道销售,将技术风险转化为企业可以采购的保险保障。

团队背景

Testudo 成立于 2024 年。联合创始人兼 CEO George Lewin-Smith 曾任高盛全球银行与市场部门副总裁,联合创始人、保险负责人 Mark Titmarsh 拥有超过 15 年保险经验,曾在 Superscript、Malca-Amit 和 Aviva 等机构开发新风险产品。CTO Alec Dewitz 曾在 Salesforce 参与 AI 系统及大型企业 Agent 部署。

公司早期建立 AI 诉讼数据和风险评估能力,随后于 2026 年 1 月宣布推出专项 AI 责任保险。官网列出的投资方包括 IA Capital Group、LocalGlobe 和 A100x 等。

为什么值得关注

Testudo 直接处理事故发生后的财务责任。即使企业已经部署监控、权限控制和安全测试,也仍然可能遭遇错误陈述、信息泄漏或侵权争议。它尝试将其中可以明确界定的责任,转移给保险市场。

与 AIUC 强调技术测试和认证不同,Testudo 更重视诉讼、责任类型和潜在损失在定价中的作用。技术故障发生的频率,与企业最终可能承担的赔偿金额,是两个需要分别判断的问题。

2026 年 2 月,Testudo 宣布承保机构 Atrium 和保险集团 QBE 加入 Apollo,为其 AI 责任保险提供更多承保能力,披露的单一被保险人承保额度达到 925 万美元。最近,公司又发布主保险响应条款的更新说明,进一步澄清符合保障范围的 AI 责任如何由保单响应。

Testudo 已经将 AI 风险推进到具体保险产品和承保合作中,索赔处理周期、保障范围是否符合企业预期,以及事故发生后是否出现责任认定争议表现等实际赔付仍有待观察。

官网地址:https://www.testudo.co/

小结

把这六个项目放在一起,会发现 Agent 安全已经出现了越来越清晰的分工。

Raindrop 盯 Agent 最终有没有把事情做对;AIR Security 关注插件、Skills、MCP 等外部组件带来的风险;Arcjet 守在动作执行之前,检查权限和业务规则;腾讯 AI-Infra-Guard 则把风险发现进一步前置,通过扫描、攻击和模拟测试提前找问题。

再往后,AIUC 开始把技术测试转化成认证和审计可以使用的依据,Testudo 则接住技术手段仍然无法消除的部分,把风险进一步变成保单和赔偿责任。

这条链条目前还很短,但行业对安全的投入已经明显增加。最近几个月,OpenAI 和 Anthropic 都披露过模型在安全测试中突破原有控制、访问真实外部系统的案例;OpenAI 甚至一度暂停最新模型的强化学习训练,加强监控、红队和研究环境安全。另一边,Anthropic 和 Accenture 已经决定未来五年各投入至少 10 亿美元建设独立模型评估能力。

这些动作至少说明了一件事:安全已经从原则性的讨论,开始进入预算、工程和产品决策。

放到整个 AI 市场里,Agent 安全依然是一门很小的生意。大量资金仍然流向模型、算力和应用,安全公司的体量和数量都有限,保险这一端更早,连风险怎么衡量、责任怎么划分、保费怎么定,都还没有稳定答案。

真正的拐点,可能要等到同一套 Agent 风险指标能够同时进入企业采购、上线审批、第三方审计和保险定价。到那时,安全才会从 Agent 产品中的一项能力,逐渐长成一套独立的风险基础设施。

这个市场还很早,我们会持续关注。

文章来自于微信公众号 “硅星人Pro”,作者 “硅星人Pro”

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)