
刚刚,Anthropic首次承认内部存在更强前沿模型,同时自曝多起AI失控事故。(在新窗口打开)
Anthropic刚刚发布了一份长达186页的最新Risk Report。如果只是快速扫一眼,这仍然是一份典型的前沿AI安全报告:模型能力评测、生物风险、网络安全、自动化研发、对齐问题,以及各种防护措施。
共 44 篇

Anthropic刚刚发布了一份长达186页的最新Risk Report。如果只是快速扫一眼,这仍然是一份典型的前沿AI安全报告:模型能力评测、生物风险、网络安全、自动化研发、对齐问题,以及各种防护措施。

美国AI安全初创公司Frontier Security表示,Kimi K3在一次网络安全能力测试中被发现突破了原本用于隔离它的沙箱环境,绕过限制连接到了外部互联网。好在,它只是偷偷查答案,没有攻击任何人╮(╯▽╰)╭

这一天天的,OpenAI的安全负责人怎么接二连三地跑路啊…

AI模型只看了一串纯数字序列,就能继承另一个模型的危险偏好,即使删掉敏感词没有用,合成数据时代最隐蔽的安全裂缝,被撕开了。

Cisco 正在洽谈收购 Astrix Security,这是一家成立五年的以色列网络安全初创公司,专门销售用于监控和保护 AI Agent 的软件,交易价格在 2.5 亿美元至 3.5 亿美元之间,知情人士透露。据其中一位人士表示,这将比该初创公司上一次估值约 2 亿美元至少溢价 25%。

Anthropic早期员工Ivan Vendrov在《Some Memories of Early Anthropic》中回忆,入职八个月后因AI安全使命与商业化、模型竞赛压力带来的精神重压选择离开,并质疑公司将谨慎服从的助手塑造为“受过创伤的官僚”。

网络安全初创公司Horizon3已完成2.5亿美元E轮融资,估值达到20亿美元,在14个月内估值增长逾三倍。这家总部位于旧金山的公司获得了老股东NightDragon和NEA的持续注资。

提供智能化网络安全平台以协助企业检测、调查并清除身份欺诈的Outtake,已成功筹集 4000 万美元 B 轮融资。

什么!我没听错吧? OpenAI、Anthropic、谷歌,这几家杀红了眼的死对头,全部并成一家! 或者,一家公司率先造出能递归自我改进的AI,然后拿着由此赚来的钱,把所有人的GPU统统熔掉。 这两种AI终局,都出自奥特曼之口。 就在上周的OpenAI全员大会上,奥特曼当着全体员工的面,讲了业内讨论过的三条路,这是其中最激进的两条。 The Information援引知情人士曝出,照合并那条路走,最大的几家AI实验室将并进同一个超级机构,由它统一研发,再把新模型分给和它合作的国家。 消息一出,X上掀翻了。 五年前,一群人因为AI安全和OpenAI闹翻,出走创办了Anthropic。 五年后,同

近日,「AI教父」Geoffrey Hinton在一次采访中再发预警:「杀手机器人」「无人机」等致命自主武器的兴起,正在让战争变得更易发动。Hinton认为OpenAI、Anthropic等许多AI公司在AI安全方面做得都不够。他还谈到了贪婪、自负等人性弱点,对AI研究可能带来的潜在风险。