
Anthropic发现AI「破窗效应」:只是教它偷个懒,结果它学会了撒谎和搞破坏 (opens in a new tab)
刚刚,Anthropic 发布了一项新研究成果。今天,他们发布的成果是《Natural emergent misalignment from reward hacking》,来自 Anthropic 对齐团队(Alignment Team)。他们发现,现实中的 AI 训练过程可能会意外产生未对齐的(misaligned)模型。
Total 7 articles

刚刚,Anthropic 发布了一项新研究成果。今天,他们发布的成果是《Natural emergent misalignment from reward hacking》,来自 Anthropic 对齐团队(Alignment Team)。他们发现,现实中的 AI 训练过程可能会意外产生未对齐的(misaligned)模型。

OpenAI……又解散了一个安全团队。 该团队名为“Preparedness”,意为“应急准备”,专门负责评估自家AI是否会带来灾难级的社会风险。 官方对此称,安全工作已经融入了开发流程,不需要单独设一个团队了。 此前,OpenAI在两年间主要组建过4支安全力量,分别是: Safety团队,关注当前产品的安全问题,负责人离职后被合并进研究部门; Superalignment团队,关注远期超级智能对齐问题,已于2024年5月解散,其负责人离职后公开称“安全已给产品让路”,而后Mission Alignment团队作为其继任团队被组建,存续仅16个月。 AGI Readiness团队,2024年1

近日,腾讯优图实验室联合华东理工大学、北京大学等研究团队在A生成图像检测(AI-Generated Image Detection)泛化问题上展开研究,提出Dual Data Alignment(双重数据对齐,DDA)方法,从数据层面系统性抑制“偏差特征”,显著提升检测器在跨模型、跨数据域场景下的泛化能力。

近日,腾讯混元团队提出HY-SOAR (Self-Correction for Optimal Alignment and Refinement),一种面向扩散模型和流匹配模型的数据驱动后训练方法。

腾讯AI负责人姚顺雨带领腾讯混元Hy4 Preview在Arena Alignment Index中以78.5分位列全球第5、中国第1,越权率为1.47%,虚假完成率为13.24%。

In an ALIGNMENT conference talk, PaXini founder Xu Jincheng describes tactile sensors, data collection, VTLA models and execution hardware, discussing how perception, intelligence and execution work together. Product capabilities are claims disclosed in the talk.

2026年,AI行业正在进入一个新的阶段。