
AI Agent安全不能只靠Prompt了:上海AI Lab探索Agent安全进化新范式 (opens in a new tab)
大模型 Agent 进入浏览器、邮件、数据库和业务系统后,安全评估如果仍只检查最终回复是否包含有害内容,覆盖面会明显不足。Agent 需要规划步骤、读取外部信息并调用工具,风险可能出现在执行过程中的任一环节。
Total 842 articles

大模型 Agent 进入浏览器、邮件、数据库和业务系统后,安全评估如果仍只检查最终回复是否包含有害内容,覆盖面会明显不足。Agent 需要规划步骤、读取外部信息并调用工具,风险可能出现在执行过程中的任一环节。

当行业都在把AI能力往输入法壳子里做增量,腾讯正在做一套独立的AI原生输入工具。

OKEight(回了么)是程梦琪团队开发的AI回复工具,它为每位联系人维护本地人物卡,学习用户与不同人的沟通风格,在Mac端读取当前对话生成候选回复,并记录未完成的约定和事项。

多轮智能体任务只有一个终点奖励,但在一条包含搜索、工具调用和多轮决策的轨迹里,决定成败的往往是一个不起眼的查询词、动作或对象选择。

“智能并不局限于大脑内部。当我们使用纸笔或地图来梳理复杂问题时,这些外部工具就成为了我们‘延展的心智’。”

Anthropic发布2026年9月威胁情报报告,指出AI滥用已从辅助工具升级为可自主运行的行动系统,覆盖非法模型蒸馏、零日漏洞自动化挖掘、多Agent集群滥用等七大风险领域。

9月7日科大讯飞发布星火X2.5模型,基于万卡国产910B集群完成预训练和后训练,并使其具备在真实NPU环境中自主优化算子的能力,通过DSA算子案例经约1600次工具调用实现3.5倍加速,形成AI反哺国产算力的技术闭环。

OpenAI发布的GPT-6 Astra在Insilico Medicine构建的DDD Benchmark抗体可开发性预测测试中以37.98分登顶第一,在不依赖外部专用工具的情况下击败所有前沿模型,标志着通用大模型正在突破抗体成药性预测这一生物医药研发的"死亡之谷",成为AlphaFold之后最具震撼性的科学范式转移。

Tamar AI旗下TapNow在威尼斯国际电影节发布全球首个长内容AI原生流媒体平台Glanze,联动"一万个平行宇宙"AI原创IP孵化计划,构建从工具、社区、赛事到IP孵化与流媒体发行的AI内容生态闭环。

OpenAI发布Agents API,将Codex背后的Harness能力拆解为云端托管服务对外开放,开发者只需指定任务、模型、工具和运行环境即可创建Agent,标志着Codex从单一产品升级为可复用的平台。