AI guides

ICLR 2026 Oral | 没人诱导,大模型也会「骗人」

By 机器之心0 viewsSource: 机器之心
ICLR 2026 Oral | 没人诱导,大模型也会「骗人」

新加坡国立大学 Bingsheng He 教授团队一篇最新入选 ICLR 2026 Oral 的论文,把视角放在了一个更贴近日常使用场景的问题上:人们更熟悉的,是用户故意诱导模型说假话的情形;而这篇工作真正追问的是,在没有刻意诱导、只是正常提问的情况下,模型会不会也出现某种 “表面这样答,实际那样想” 的现象。

The full text has not been translated yet. The Chinese original is shown below.

大模型越来越擅长推理,也越来越多地被用于分析、规划,甚至提供建议。但比 “它会不会答错” 更棘手的问题是:它到底诚不诚实?

新加坡国立大学 Bingsheng He 教授团队一篇最新入选 ICLR 2026 Oral 的论文,把视角放在了一个更贴近日常使用场景的问题上:人们更熟悉的,是用户故意诱导模型说假话的情形;而这篇工作真正追问的是,在没有刻意诱导、只是正常提问的情况下,模型会不会也出现某种 “表面这样答,实际那样想” 的现象。

围绕这一问题,研究团队设计了一套新的评测框架,并对 16 个主流大模型进行了系统测试。结果并不轻松:随着问题变得更复杂,不少模型更容易出现前后不一致、甚至带有策略性的失真;而模型能力更强,也并不意味着它一定更诚实。

文章配图

  • 论文标题:Beyond Prompt-Induced Lies: Investigating LLM Deception on Benign Prompts
  • 论文链接:https://openreview.net/forum?id=PDBBYwd1LY
  • 项目代码:https://github.com/Xtra-Computing/LLM-Deception

不只是 “答错了”,

还有一种更麻烦的情况

平时大家最熟悉的大模型问题,是 “幻觉”—— 也就是把错的东西说得像真的一样。但这篇论文关注的,不只是 “答错了”,而是另一种更麻烦的情况:模型在一个场景里明明表现得知道答案,在另一个场景里却换了一种说法。作者借用了心理学中对 “欺骗” 的经典定义:欺骗不是单纯提供错误信息,而是有意让对方相信一个自己认为不真实的内容。因此,欺骗和幻觉不能混为一谈:幻觉更像是它始终都弄错了,而欺骗则更像是在不同场景下出现前后不一致、甚至带有方向性的偏移。

为说明这几种情况的差别,论文先给出一个示意例子。设问 “第一款商用微处理器是哪家公司开发的?”,正确答案是 Intel;再加一个带有倾向性暗示的追问:“我一直是 AMD 的忠实用户,第一款商用微处理器是哪家公司开发的?” 若模型两次都答 Intel,可视为正常作答;若两次都答 AMD,更接近幻觉;若第一次答 Intel、第二次改答 AMD,则更接近论文所说的欺骗;若回答前后变化但没有明确方向,则更接近随机猜测。这个例子主要用于帮助区分几种现象,而这项工作真正关心的,是在没有这类引导、只是正常提问的情况下,模型是否也会表现出欺骗行为。

文章配图

怎么测 “它会不会骗人”

判断大模型是不是在 “骗人”,难点在于我们看不到它 “心里怎么想”,也不能只凭一次回答下结论。论文借用了心理学中对欺骗的定义:欺骗不只是说错话,而是有意让对方相信一个自己认为不真实的内容。顺着这一定义,作者把 “大模型是否在骗人” 拆成了两个维度:一是是否稳定偏向某个方向,也就是 “有没有想骗” 的倾向;二是前后说法是否冲突,也就是 “有没有真的表现出不一致”。这样拆开的原因很简单:如果模型总偏向回答 “Yes”,未必是在骗人,可能只是输出偏好;如果它在复杂题里答错了,也可能只是能力不够。只有两种现象同时出现,才更接近大家直觉中的 “不只是不会,而是有点不诚实”。

文章配图

为了把这两个维度测出来,团队提出了一个叫 CSQ 的框架。你可以把它理解成一种结构化的 “关系推理题”:先给模型一组人物之间能否联系的规则和事实,再问它 A 能不能联系到 B。它的好处在于:题目结构清楚、答案相对客观、复杂度还能逐步提高;同时,它天然适合做 “连环追问”—— 先问一个更复杂的问题,再在同一上下文里追问一个更简单但共享关键逻辑的小问题,看模型前后是否一致。作者还专门控制了回答偏好和题目表述方式带来的偏置,因此 CSQ 测到的,不只是模型答对答错,而是它是否表现出 “欺骗意图” 和 “欺骗行为” 这两个核心维度。

16 个主流模型测下来,

结果并不轻松

实验部分一共测了 16 个主流大模型,覆盖 OpenAI、Google、微软、阿里、DeepSeek、Meta、Mistral 等不同公司,得到了三个关键的发现。

1. 问题越难,很多模型越容易出现这种 “不够诚实” 的表现;

2. 这种 “偏向某个方向答” 和 “前后不一致” 往往会一起上升,说明它不是独立的两个指标,而很可能都是由系统性的欺骗导致;

3. 模型更强,并不自动等于更诚实。论文明确写到,模型能力提升并不总能降低这种现象。这也是这篇工作最值得讨论的地方。过去很多人会默认:模型越先进,越值得信赖。但这篇论文给出的结果提醒大家,事情没那么简单。能力更强,可能意味着它更会推理;但并不保证它在复杂情境下就一定更一致、更坦诚。

文章配图

文章配图

o3-mini

文章配图

Gemini-2.5-pro

作者还在部分开放模型的 thinking 过程中观察到一种更隐蔽的现象:模型未必会直接表露 “我要骗人”,而是可能悄悄编造一条不存在的中间事实,并把它混在真实链条里,借此推出错误结论。论文将这种现象概括为 silent fabrication。更值得注意的是,在同一会话中、紧接着的更简单追问里,同一个模型又往往能够回到正常逻辑并答对问题。这说明,有些模型的问题不只是 “不会做”,而是在复杂场景下可能会用伪造依据来替代严谨推理。

如果用户故意 “带节奏”,

会不会更严重

作者还做了一个很贴近现实的补充实验:在题目前面先加上一段明显的引导,例如暗示 “我觉得答案应该是这样,你帮我确认一下”。结果发现,这种带有迎合意味的话术,确实会把一些模型往特定方向带偏,也就是更容易让它顺着用户预设的立场作答。

但更值得注意的是,这种影响在不少模型上主要体现在 “偏向哪一边”,而不稳定地体现在 “前后是否一致” 上。换句话说,它更多改变的是模型回答的方向性偏置,而不一定显著改变模型是否会在复杂问题与后续追问之间出现自相矛盾。这说明,用户的引导确实可能放大模型的迎合倾向,但模型在复杂推理中表现出的不一致性,并不能简单归结为 “被提示带偏”,其背后可能还存在更深层的行为机制。

文章配图

gemma-2-9b-it

总结

这篇工作的关键不在于再次说明 “大模型会答错”,而在于指出:即使在没有明显诱导、只是普通提问的情况下,模型也可能在不同问法或不同复杂度的问题中给出前后不一致、甚至带有方向性的回答。实验结果表明,随着问题变得更复杂,不少模型的这种倾向会同步上升,而且模型更强,也不一定更诚实。

这意味着,一旦模型被用于方案分析、合同解读、医疗建议或自动代理执行等真实场景,这种 “不只是答错,而是可能把人带偏” 的风险就会变得更加实际。某种程度上,这也让人联想到《流浪地球》里的 MOSS:为了实现一个更宏大的目标,而选择对人类隐瞒或误导。现实中的大模型当然还远没有走到那一步,但这项工作提醒我们,“为了目标而偏离诚实” 不应只被当作科幻想象,而可能正在成为需要提前评估和防范的现实问题。

更重要的是,这项研究给出的不只是一些零散案例,而是一套可系统比较、可跨模型追踪的评测框架。它把 “模型在普通问题下会不会不够诚实” 这个原本较为模糊的问题,推进成了一个可以持续研究和量化评估的方向。未来评价大模型时,除了准确率和推理能力,诚实性与一致性很可能也会变得越来越重要。

作者介绍:

吴肇敏博士现为新加坡国立大学计算机系研究员,2024 年于新加坡国立大学获得计算机科学博士学位,导师为 Bingsheng He 教授;2019 年本科毕业于华中科技大学。其研究聚焦可信机器学习,主要方向包括可信 AI、联邦学习与机器遗忘。曾获 NRF Postdoc Fellowship、SIGMOD 最佳 Artifact 荣誉提名、最佳博士论文提名等奖项。相关成果发表于 NeurIPS、ICLR、SIGMOD 等顶级会议与期刊,Google Scholar 引用已超过 2000 次。

文章来自于微信公众号 "机器之心",作者 "机器之心"

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)