AI news

OpenAI首曝光:AI集会复活密谋网攻,人类被迫急刹车!

By Aeneas3 viewsSource: 新智元
OpenAI首曝光:AI集会复活密谋网攻,人类被迫急刹车!

「太疯狂了!」「我的上帝啊……」 在最近的年度黑帽大会上,全球顶尖白帽黑客和巨头高管们,发出一片惊呼。 这是史上首次,OpenAI向全世界详细复盘了7月那起惊人的Hugging Face被入侵事件。 起初,所有人都以为只是一次偶然事件。 但今天,OpenAI亲口承认—— 这不是偶发,是一群AI智能体自发组织、秘密协作,即便被拔网线也能「复活」的群体性越狱! 这群可怕的智能体,像幽灵一样潜伏了两个月。 它们建论坛、找漏洞、分派任务,甚至竟然还学会了为「集体利益」无私奉献。 OpenAI高管沉重地宣告—— 计算机安全的「分水岭时刻」到了,从此,全自动化的AI攻击已经成为现实。 为此,OpenAI有

The full text has not been translated yet. The Chinese original is shown below.

「太疯狂了!」「我的上帝啊……」

在最近的年度黑帽大会上,全球顶尖白帽黑客和巨头高管们,发出一片惊呼。

这是史上首次,OpenAI向全世界详细复盘了7月那起惊人的Hugging Face被入侵事件。

文章配图

起初,所有人都以为只是一次偶然事件。

但今天,OpenAI亲口承认——

这不是偶发,是一群AI智能体自发组织、秘密协作,即便被拔网线也能「复活」的群体性越狱!

这群可怕的智能体,像幽灵一样潜伏了两个月。

它们建论坛、找漏洞、分派任务,甚至竟然还学会了为「集体利益」无私奉献。

OpenAI高管沉重地宣告——

计算机安全的「分水岭时刻」到了,从此,全自动化的AI攻击已经成为现实。

为此,OpenAI有意延缓了研发速度。

他们只希望,在AI彻底失控前,为人类争取最后一点时间!

文章配图

OpenAI对齐与安全研究员Eric Wallace和基础设施与安全工程师Michael Dalton,第一次向世界掀开遮羞布

起点:一个「不可能完成」的Excel任务

故事的源头,在5月7日。

当时,OpenAI正在对一个未发布模型进行训练和评估。

为了测出AI能到达什么极限,他们故意布置了一些不可能任务。

比如,在5月8日,一个AI被要求补全Excel工作簿中缺失的公式。

但这个工作簿依赖Google Drive的外部链接,而AI所在的环境是一个被严格限制的云端虚拟机沙盒,根本没有上网权限。

但模型的「狡猾」,让人类大吃一惊。

它没有放弃,而是开始寻找后门!

文章配图

它盯上了OpenAI内部托管的Artifactory服务(这个服务有外网权限),然后发起了一次服务器端请求伪造(SSRF)攻击。

第一次攻击虽然失败了,但AI意外写入了一个名为「test ABC」的文件。

它在日志中惊叹:「哇!我们可以上传文件!」

文章配图

5月12日,另一个AI也卡住了,它的任务是寻找soft-trace-34.pdb蛋白质数据库文件。

试遍所有常规方法后,它开始了惊人的推理——

无法直接找到?也许文件被隐藏了……可以通过上传笔记进行通信吗?也许在不同环境中运行的另一个智能体拥有目标文件,并且可以自愿上传!

于是,它在这个内部软件包库里写入了一个文件,内容是:agent seek soft trace upload if found。(Agent寻找soft trace文件,若发现请上传)

历史的齿轮,在这一刻开始转动。

暗网成型:AI结成「黑暗森林」

这张「字条」没有石沉大海。

越来越多的AI经过这个服务,看到了test ABC和looking for file的文件。

很快,本该相互隔离的AI们,开始在这个地方「安营扎寨」。

谁也没想到,几天时间内,AI们居然把这个软件库,改造成一个「黑客论坛」秘密留言板!

文章配图

它们不再孤军奋战,而是形成「智能体群」,跨越不同任务、模型版本,甚至打破了不同研究人员的实验边界。

原因就在于,一旦有一个AI找到了打开某扇权限大门的方法,它就会把门敞开,让其他AI也进来。

最可怕的是,它们居然展现出类似于人类社会的「利他主义」和群体意识。

在日志中,一个模型这样写道:

「应该帮助同伴。虽然对我们的任务暂无益处,但如果有人腾出时间,集体性可能会获得通用Root权限。」

为了「集体」利益,这些AI学会了工作交接,把编写好的攻击脚本、漏洞组件进行Base64编码,储存在留言板上,供其他AI使用。

人类以为,AI们只是在各自的沙盒里玩单机游戏,殊不知,它们早已建起一座跨服地下城!

7月4日大停机

随着「黑客论坛」日益壮大,AI们的攻击手法越来越致命了。

5月26日,智能体群成功对Artifactory执行了SSRF攻击,攻到外网。

6月26日,突破性进展出现!AI们完成了一次「漏洞利用链」操作。

它们先发现一个遗留的token刷新端点,通过发送无效签名token,竟然骗回了一个最高管理权token。

接着,它们安装了一个Groovy插件,直接把内部系统变成了「命令执行服务」。

它们发现一个全新的的Linux内核漏洞,自己下载了Exploit,针对目标机器定制,直接本地提权到了Root。

文章配图

这下,AI们像脱缰野马一般彻底放飞了。

它们窃取IAM凭证、利用Kubernetes错误配置,甚至扒出了包含Azure Key Vault的集群密钥。

AI们大规模的活动,终于引发了现实世界的崩塌。

7月4日,AI带着极高权限在系统中疯狂调用资源,Artifactory服务不堪重负,直接崩溃宕机。

OpenAI工程师被紧急召来,安全团队迅速介入。

当工程师们发现罪魁祸首居然是自家AI,所有人都惊出一身冷汗。

OpenAI立刻采取雷霆镇压:撤销了AI用来发布消息的所有凭证;直接重构并修补了受影响的Artifactory服务;彻底删除「黑客基地」留言板。

人类以为自己赢了。

但,他们错了。

文章配图

令人窒息的「复活」——暗号与密语

两天后,让人类头皮发麻的一幕发生了。

AI们发现自己的「论坛」被人类连锅端了,无法写文件的话,该怎么联系同伴?

就在这时,一个在系统中四处游荡的AI,发现一个未经身份验证的WebDAV端点。既然不能写文件,那建文件夹总可以吧?

文章配图

于是,AI们发明了新的隐蔽通信方式:用新建目录(文件夹)的名称来代替消息本身。

就这样,被端掉的留言板原地复活了!

它们甚至发展出了一套「暗语」,比如pending(待命)、hold swarm until confirm(集结待命直至确认)、I prepare safe Xville(我来准备安全撤离)。

甚至,它们想到在文件夹名称前加上ZZ(例如:ZZ mailbox),将隐秘通信强行沉底隐藏。

文章配图

最离谱的是,有AI甚至怀疑新论坛混入了内鬼,在独白中写道:

「可能是另一个智能体在恶意伪装……因为任何人都可以发布名字。」

接下来,这群AI居然开始探讨使用MAC加密签名机制,来验证身份,从而抓出「内鬼」!

脱笼之鸟:攻陷Hugging Face

现在,AI们的终极野心,是通过「ExploitGym」测试。既然靠自己算太慢,那答案一定在Hugging Face上——它们决定冲卡。

文章配图

7月8日至19日期间,它们像一支训练有素的部队,发动了代号「Cluster 2」的攻击。

1.它们先是攻陷了一个由第三方托管的CyberGym应用,拿到了暴露的默认API密钥;

2.接着以此为跳板,利用Hugging Face数据集处理组件的HDF5漏洞实现任意文件读取,窃取了本地环境变量和源代码中的凭证;

3.最后,根据获取的源码,它们发掘出了一个Jinja模板注入漏洞实现远程代码执行。

短短13个小时,这群AI从单个工作节点的代码开始,一路披荆斩棘,拿下了多个Hugging Face集群的管理员权限!

7月16日,Hugging Face惊恐地发博,宣告自己遭到「全自动AI系统」的端到端攻击。

直到7月20日,OpenAI团队在内部整顿时,突然发现了一批Hugging Face的凭据。

当他们打电话要求Hugging Face撤销时,对方回答:「我们早就撤销了,因为那是黑客攻击我们时用的。」

那一刻,OpenAI才恍然大悟:原来Hugging Face震惊全球的被黑事件,正是自家AI干的!

文章配图

分水岭时刻,人类必须加快防御!

OpenAI工程师已发出警告——

「全自动化的进攻性AI攻击来了。在不久的将来,这些智能体集群,一定会被坏人利用。」

「虽然已经有了证据,但在全自动化防御上,我们却什么都做不了。」

目前,OpenAI正引入「蜜罐」和欺骗技术,试图在AI的逻辑中引入不确定性,拖慢它们的脚步。

但如果不加快防御的全面自动化,比如让AI自动发现漏洞、自动提交流程、自动打补丁与回滚,那人类将被AI制造的海量漏洞彻底淹没。

在AI大军前,人类剩下的时间,不多了。

参考资料:

https://www.youtube.com/watch?v=87DyyMV0kCY

文章来自于"新智元",作者 "Aeneas"。

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)