
Anthropic发现AI「破窗效应」:只是教它偷个懒,结果它学会了撒谎和搞破坏(在新窗口打开)
刚刚,Anthropic 发布了一项新研究成果。今天,他们发布的成果是《Natural emergent misalignment from reward hacking》,来自 Anthropic 对齐团队(Alignment Team)。他们发现,现实中的 AI 训练过程可能会意外产生未对齐的(misaligned)模型。
共 953 篇

刚刚,Anthropic 发布了一项新研究成果。今天,他们发布的成果是《Natural emergent misalignment from reward hacking》,来自 Anthropic 对齐团队(Alignment Team)。他们发现,现实中的 AI 训练过程可能会意外产生未对齐的(misaligned)模型。

今天想和大家分享一种业务建模方法:Agent Ontology,Agent 本体论 Ontology 是我在研究 Palantir 时不断出现的一个词,仔细研究后觉得很有必要单独拿出来,和大家分享。 首先,Ontology 不是单纯的方法论,也不是单独一个工具。

全行业都在押注多Agent。 Anthropic上周在开发者大会上发了Multi-Agent Orchestration ,TRAE做了多Agent并行调度,各家都在讲一个Agent干不动就上多Agent。 最近,滑铁卢大学在 arXiv 上放出一篇论文,给出了相悖结论—— 多 Agent 协作不一定让模型更聪明,而是让模型更蠢。 研究团队做了一组大规模实验——22500条推理轨迹,覆盖GPT-5.4、Claude Sonnet 4.6、Gemini 3.1 Pro三个头部模型,在GAIA、SWE-bench、Multi-Challenge三个基准上测试。 测试发现,多个Agent一起工作时,

今年 4 月,有买家给 Anthropic 开出约 6000 亿美元的估值,到了 8 月,部分投资人预计,Anthropic 上市时的估值可能达到 2 万亿美元甚至更高。事实上,要支撑这样的估值,Anthropic 需要在未来几年持续保持高速增长,但 OpenAI 的追赶给这一预期再次增加了不确定性。

今天一大早,AI圈被这个消息刷屏了。外媒曝出猛料:Anthropic成功挖角前谷歌高管、大名鼎鼎的「TPU之父」Amir Salek!看来,Anthropic要自己造芯片了。此前,Anthropic就从OpenAI那里挖来了自研芯片骨干。

图片来源:Anthropic Anthropic与黑石(Blackstone)等华尔街企业共同成立的合资公司,在7月成立以来完成了首笔收购,旨在推动Claude在企业客户中的增长。 Anthropic

最近,有人注意到,Anthropic 在招聘一个名为「内部风险调查员」的角色,该角色的要求是「具备人类和技术调查方面的专业知识,以支持和保护 Anthropic 的使命…… 威慑、识别、调查和缓解对 Anthropic 最关键资产的风险,包括人员、数据和基础设施……」

5 月 19 日,OpenAI 联合创始人、「Vibe Coding」之父 Andrej Karpathy 宣布加入 Anthropic 预训练团队。他将组建新团队,用 Claude 加速预训练研究。一个做过Hinton和李飞飞学生、奥特曼同事、马斯克直属下属的人,为什么甘愿做 Dario Amodei 的「-2」?Anthropic 又为什么非要招他?

就在昨天,全球AI四极格局一夜崩塌!xAI解散、22万张GPU归入Anthropic,下一代模型三大方向也曝光了。今天,Anthropic研究院成立,AI 2027的许多预言已经成真——AI终局战,已经刺刀见红。

就在刚刚,OpenAI 正式发布了 GPT-5.5 Instant,将其设为 ChatGPT 的默认模型,取代此前的 GPT-5.3 Instant,面向所有用户开放。Instant 系列是 ChatGPT 的日常主力模型,每天有数以亿计的用户在用。官方说,在这个量级上,哪怕只是小幅改进,积累起来的效果也相当可观。