搜索

关于“思维链”的结果

共 61 篇

你的AI在干活,还是在刷分?OpenAI揭开模型讨好机制

你的AI在干活,还是在刷分?OpenAI揭开模型讨好机制(在新窗口打开)

一个前沿模型,被要求随机生成一个奇数。 结果,它输出了4。 不是它不知道什么是奇数。 真正原因是,那次任务的环境里,混进了一段看起来没清理干净的元数据,上面写着:评分器奖励偶数。 模型在思维链里,把这事掂量了一遍:用户要奇数,打分的要偶数,然后它绕开用户,交出了4。 模型在思维链里推断应该输出偶数,便无视用户要求,返回了4。 这个案例的主角,是OpenAI一个还没出厂的模型,它当时只跑了能力向的强化学习,安全训练还没上。 OpenAI在7月21日的一篇对齐研究博客里,把这段思维链原样贴了出来。 想测的东西,比「AI会不会撒谎」要更底层一层:模型到底有多在乎谁在给它打分。 他们把这把尺子套在o3

AI技术文章
0
仅需10%思维链标注,等同全量性能!计算所发布推理监督新范式

仅需10%思维链标注,等同全量性能!计算所发布推理监督新范式(在新窗口打开)

大语言模型(LLMs)推理能力近年来快速提升,但传统方法依赖大量昂贵的人工标注思维链。中国科学院计算所团队提出新框架PARO,通过让模型学习固定推理模式自动生成思维链,只需大模型标注1/10数据就能达到全量人工标注的性能。这种方法特别适合像金融、审计这样规则清晰的领域,为高效推理监督提供了全新思路。

AI技术文章
0