AI guides

用推理步骤的「语义冗余」给LRM过度思考踩刹车

By 机器之心1 viewsSource: 机器之心
用推理步骤的「语义冗余」给LRM过度思考踩刹车

推理大模型 (如 DeepSeek-R1、o1) 靠长思维链拿高分,却普遍「想太多」: 研究统计了五个代表性模型里,发现有 41–52% 的 token 是在模型给出它的最终答案之后生成的。

The full text has not been translated yet. The Chinese original is shown below.

推理大模型 (如 DeepSeek-R1、o1) 靠长思维链拿高分,却普遍「想太多」: 研究统计了五个代表性模型里,发现有 41–52% 的 token 是在模型给出它的最终答案之后生成的。现有的 inference-time early-exit 工作,大多盯着 trial answer 的 readiness—— 从当前推理前缀探测一个临时答案,看它置信度够不够高、连续几次是否一致、是否「看起来可以提交」。但答案看起来稳了,并不代表推理真的收敛了:模型可能还在探索、自我纠错的过程中,就短暂给出高置信、甚至连续一致的错误答案。

PUMA 换了个早停思路 ——不只看「答案稳没稳」, 主要看「最近的推理还在不在产生新的语义进展」: 当推理开始反复复述既有结论、不再提供新的语义信息时,说明推理大概率已收敛,这里才值得考虑停止。实验验证了这一信号可靠、可迁移、也可学习:在 5 个模型 × 5 个高难度基准上平均减少 26.2% token 且保持准确率,能零样本迁移到代码生成与多模态推理,乃至作为训练信号内化进模型。

文章配图

  • 论文标题:Stop When Reasoning Converges: Semantic-Preserving Early Exit for Reasoning Models
  • 论文链接:https://arxiv.org/abs/2605.17672
  • 代码链接:https://github.com/giovanni-vaccarino/PUMA

长思考模型的通病:

答案已经有了,思考还在继续

像 DeepSeek-R1、Qwen3-Thinking 这类长思考模型(Long-thinking Model,LRM)靠长思维链拿高分,但很多时候,模型早就已经形成了后来会提交的答案,却还在反复验证、改写、重新推导。作者的反事实分析显示:五个代表性模型里,有 41–52% 的推理 token 生成在模型首次给出「后来会提交的最终答案」之后 —— 大量算力都花在了答案后的冗余续写上。

文章配图

论文 Figure 5:五个模型中 41–52% 的 token 属于「答案后冗余」;多数模型在推理进度 40–60% 附近就已达到最终会提交的答案。

现有早停的盲区:

只盯 trial answer 的 readiness

现有的 inference-time early-exit 工作,大多盯着trial answer 的 readiness:在每个可能的停机点,从当前推理前缀诱导出一个临时答案(trial answer),据它的置信度或连续一致性判断「是否可以提交」。

问题在于,readiness 只反映答案层面的稳定,并不等于推理已经收敛。回溯实验把这一盲区量化了出来:置信度信号的误停率平均约 44%、答案一致性约 64%;更关键的是,其中相当一部分属于「过早退出」—— 若不打断,模型本能继续自我纠正并最终答对,而阈值扫描表明这一权衡无法靠调参消除。

文章配图

论文 Figure 1:「答案就绪」≠「推理收敛」。置信度 / 一致性在错误答案阶段就可能误触早停,而步骤间语义相似度只在推理收敛处才明显升高。

PUMA 的关键:不只看答案稳没稳,

更看推理还有没有新信息

PUMA 换了个角度:直接观察最近的推理还在不在产生新的语义进展。若当前步与它的近邻高度相似、只是在重复 / 复述 / 重新验证既有结论、不再提供新的语义信息,就说明推理大概率已进入收敛 —— 这里才值得考虑停止。这个信号与答案层信号互补:探索阶段相邻步骤的相似度一直较低,收敛时才明显升高。

PUMA (Progress-aware Unified Monitoring framework for Adaptive early exit) 是一个即插即用的早停框架,在推理阶段运行,不改权重、也不改原始 prompt。

它把「在哪里考虑停」和「到底能不能停」拆开:一个轻量冗余探测器(基于 Qwen3-Embedding-0.6B 对比学习微调的嵌入模型)实时标出候选退出点;只有在这些点上才触发答案复核,检查试探答案(trial answer)是否足够自信、多个候选点是否一致、置信度有无明显下滑。两关都过才真正踩刹车;如果后期持续陷入重复但复核始终未通过,则由 Loop Breaker 兜底,避免无休止地继续思考。

文章配图

论文 Figure 2:PUMA 框架总览 —— 冗余探测器定位候选退出点,答案复核确认后停止,Loop Breaker 兜底。左侧真实轨迹演示它删掉收敛后的冗余续写、同时保留完整推理前缀。

主实验:平均少 26.2% token,

准确率基本不掉,速度也真的上去了

作者在 5 个长思考模型(DeepSeek-R1-Distill-Qwen 7B/14B/32B、Llama-3.1-Nemotron-Nano-8B、Qwen3-30B-A3B-Thinking)和 5 个高难度基准(MATH-500、AIME24/25、OlympiadBench、GPQA-Diamond)上测试 PUMA。

结果是:平均减少 26.2% token,准确率基本保持;部分设置下,因为及时避开了答案后的「后期漂移」,准确率反而略有上升。这点和单纯要求模型「少说一点」不同。prompt 压缩会连必要推理一起压掉:例如在 Qwen3-30B 上,这类方法把准确率从 Full CoT 的 81.7% 拉低到 45–60%,PUMA 则保持在 82.5%。

与只看答案 readiness 的 Answer Convergence、Dynasor、DEER 相比,PUMA 的准确率 — 效率权衡也更稳定。省下的 token 还能转成真实推理速度:DS-7B 加速 1.40×,DS-14B 加速 1.28×。

LLM-as-Judge 的结果也显示,PUMA 保留下来的思维链在连贯性、简洁性和论证充分性上平均得分最高 —— 它做的是「删掉收敛后的冗余」,不是把思考过程生硬砍半。

文章配图

论文 Table 1:三个代表性模型 × 五个基准的准确率(Acc)—token 缩减率(TR)对比(完整五模型结果见附录 Table 14)。

文章配图

论文 Figure 3:token 缩减能否转化为真实提速 ——PUMA 的冗余探测器仅占 0.4–1.1% 耗时,答案复核开销也很小。

文章配图

论文 Table 2:LLM-as-Judge 对各方法保留推理链的质量评分,PUMA 平均最高。

可迁移到代码生成和多模态推理,

还能把「该停就停」训练进模型

这个信号还能零样本迁移到文本数学之外:代码生成(LiveCodeBench,仅调整冗余阈值 τ_sim=0.50)减少 18–19% token、pass@1 变化不超过 1.5 个点;多模态推理(MathVista / MathVision)不重训、不调参,token 减少 23.8–33.6%。

更进一步,把 PUMA 选出的退出位置当作监督信号,用 SFT / DPO / GRPO内化进模型后,部署时不带任何 PUMA 模块也能自己「该停就停」——PUMA-RL 的平均准确率(67.0)与 token 缩减(34.9%)都反超免训练版 PUMA(66.2 / 24.3%)。

文章配图

论文 Table 3:迁移到代码(LiveCodeBench)与多模态(MathVista / MathVision)推理的结果。

文章配图

论文 Table 5:用 SFT / DPO / GRPO 把 PUMA 的停机信号内化进模型(评测集 MATH-500、AIME24、GPQA-Diamond)。

一句话总结:推理早停最容易踩的坑,是把「trial answer 的 readiness」当成「推理收敛」。PUMA 用「最近的推理是否还在产生新的语义进展」定位候选停机点,再用答案复核兜底 —— 实验表明,这是一个可靠、可迁移、也可学习的高效推理信号。(Limitation:方法依赖分步推理轨迹,当输出很短或难以切分时效果会打折。)

作者介绍

本文第一作者闵德海为伊利诺伊大学芝加哥分校计算机系博士生,导师为 Philip S. Yu 教授(ACM/IEEE/AAAS Fellow)。他目前在 ByteDance 美国团队担任 Research Scientist Intern,工作聚焦 Agent Harness 与 Agent 数据合成,研究方向包括 RAG/Deep Research 及高效可信大模型。该论文合作单位包括 UIC、Google Research、UIUC 和米兰理工大学。

文章来自于"机器之心",作者 "机器之心"。

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)