AI guides

GRPO遭遇瓶颈?G²RPO-A让自适应指导为小模型推理能力「开外挂」

By 机器之心3 viewsSource: 机器之心
GRPO遭遇瓶颈?G²RPO-A让自适应指导为小模型推理能力「开外挂」

大模型时代的「炼金术师」们,或许都曾面临一个共同的困扰:当我们试图将 DeepSeek-R1、OpenAI-o1 那种惊艳的推理能力迁移到小规模语言模型(SLMs)时,效果却总是差强人意。现有的强化学习方法如 GRPO 在 7B+ 的大模型上效果显著,但一旦应用到 1.7B 甚至更小参数的模型上,性能提升就微乎其微。

The full text has not been translated yet. The Chinese original is shown below.

大模型时代的「炼金术师」们,或许都曾面临一个共同的困扰:当我们试图将 DeepSeek-R1、OpenAI-o1 那种惊艳的推理能力迁移到小规模语言模型(SLMs)时,效果却总是差强人意。现有的强化学习方法如 GRPO 在 7B+ 的大模型上效果显著,但一旦应用到 1.7B 甚至更小参数的模型上,性能提升就微乎其微。

针对小模型在强化学习中的推理困境,香港中文大学(深圳)T-Lab 唐晓莹教授携课题组博士毕业生郭永新、邓文博提出了全新算法 G²RPO-A(Guided Group Relative Policy Optimization with Adaptive Guidance)。已被 ACL 2026 主会议(Main Conference)接收。

该方法通过在 roll-out 过程中注入高质量思维轨迹,并根据训练状态动态调整指导强度,有效缓解小模型面临的奖励稀疏问题。在 Llama、Qwen、DeepSeek 等多个主流模型家族上的实验表明,G²RPO-A 在数学推理和代码生成任务上显著优于 vanilla GRPO,其中 Qwen3-1.7B 在 MATH500 上从 50.96 提升到 67.21,HumanEval 上从 46.08 提升到 75.93。

文章配图

  • 论文地址:G²RPO-A: Guided Group Relative Policy Optimization with Adaptive Guidance
  • 论文链接:https://arxiv.org/abs/2508.13023
  • 代码仓库:https://github.com/T-Lab-CUHKSZ/G2RPO-A
  • 作者:Yongxin Guo♠,♡,*, Wenbo Deng♠,*, Zhenglin Cheng♣, Xiaoying Tang♠
  • 单位:♠ 香港中文大学(深圳) ♡ 淘天集团(郭永新为香港中文大学(深圳)T-Lab毕业博士生) ♣ 西湖大学

「我们用 GRPO 训练了 Qwen3-1.7B,结果高奖励候选始终太少,模型很难稳定学到有效的推理策略……」

一个灵魂拷问随之而来:难道小模型注定与高级推理能力无缘吗?

文章配图

图 1:Naive Guidance 的困境。使用 Qwen2.5-Math-7B 在 s1K-1.1 数据集上训练,简单的固定长度指导在早期训练阶段有短暂提升,但很快与 vanilla GRPO 无异。

一、小模型的「推理瓶颈」到底卡在哪?

当前,尽管 GRPO 等强化学习算法在大模型上取得了巨大成功,但在小规模语言模型(SLMs)上却面临严峻挑战。研究团队通过深入分析发现,问题的核心在于「稀疏奖励」困境:

由于 SLMs 自身能力有限,面对复杂推理任务时,它们很难生成高质量的思考链,导致大部分 roll-out 都无法获得正向奖励。如下图所示,Qwen3-1.7B 在代码任务上的奖励分布极其稀疏:

文章配图

图 2:Qwen3-1.7B 在代码任务上的奖励热力图对比。引入 guidance 后,模型更容易采样到高奖励候选,奖励信号显著变得更密集。

研究团队形象地将其比作「新手司机开手动挡」:无论引擎(模型)如何努力,缺乏正确的引导(指导)依然难以完成复杂的驾驶(推理)操作。

二、G²RPO-A 核心算法架构

为了缓解小模型在 RLVR 中的先天劣势,G²RPO-A 并不是简单地把标准答案喂给模型,而是在 roll-out 的部分轨迹中注入高质量 thinking trajectory,并根据训练状态动态调整 guidance 强度。

文章配图

图 3:G²RPO-A 的整体框架。每一步训练都会将 roll-out 分成 guided 和 unguided 两组,再根据当前奖励与历史奖励的比值动态调整后续 guidance length。

G²RPO-A 的核心创新包含两个关键组件:

文章配图

三、关键发现:

为什么简单指导行不通?

研究团队首先验证了 naive guidance 的效果,发现简单的固定长度指导效果有限。更关键的是,在基于 Math-220K 子集的训练动态分析里,这种「看起来更容易拿到奖励」的做法并没有真正带来更健康的优化信号:

文章配图

图 4:Naive Guided GRPO 的陷阱。论文在基于 Math-220K 子集的训练动态中发现,naive guidance 虽然能短暂抬高 reward,但其 advantage 标准差极低,严重阻碍了 SLM 的训练效率。

换句话说,naive guidance 的问题不在于「完全没帮助」,而在于它只是让模型更容易采到一些高奖励候选,却没有同步保住足够有区分度的 advantage 信号;结果就是奖励看似变好,训练效率却没有真正提升。

四、主实验结果:

数学和代码上到底涨了多少?

论文做了大量配置实验,首先,最值得展示的其实是主实验结果:在统一训练设置下,直接和 Base、vanilla GRPO、SFT 对比,看看 G²RPO-A 是否真的能把小模型带起来。

配置分析本身给出的核心结论可以先记一句:代码任务通常需要更高 guidance ratio,小模型也通常比大模型更依赖 guidance。这也是作者最后转向「自适应」而不是「固定超参」的直接动机。

先看数学推理主实验。下表来自论文主表,展示了不同 Qwen3 基座在多个数学 benchmark 上的结果:

文章配图

表 1:论文主实验中的数学 benchmark 结果,单位为准确率(%)。

如果只看最有代表性的几组结果,提升是很直观的:Qwen3-1.7B-Base 在 MATH500 上从 50.96 提升到67.21,在 GPQA 上从 27.45 提升到32.35;Qwen3-8B-Base 在 MATH500 上也从 71.32 提升到82.08。论文还补充了更强数学设置下的 AIME 结果,其中 Qwen3-1.7B 在 AIME24/AIME25 上分别达到63.33和53.33,高于对应的 GRPO 结果 56.67 和 50.00。

再看代码主实验。这里的趋势也很有意思:G²RPO-A 并不是「每一个单项都绝对碾压」,但整体上在多数 benchmark 上拿到了最优,尤其对小模型的拉升非常明显。

文章配图

表 2:论文主实验中的代码 benchmark 结果,单位为准确率(%)。

具体来说,Qwen3-0.6B 在 HumanEval 上从 32.32 提升到44.96,LiveCodeBench 上从 17.07 提升到23.14;Qwen3-1.7B 在 HumanEval 上从 46.08 提升到75.93。需要如实说明的是,Qwen3-1.7B 在 LiveCodeBench 上是 SFT 略高,但论文额外给出的 Code-Avg 对比中,G²RPO-A 仍以63.95高于 GRPO 的 60.40 和 Clip-Higher 的 60.19。

五、自适应策略的核心思想

G²RPO-A 的关键不在于「永远加更多 guidance」,而在于根据最近几个训练 step 的奖励变化自动调 guidance length。论文里的更新规则更接近下面这个形式:

指导长度自适应更新规则:

文章配图

其中,m=min(T,k),ℓₖ 为第 k 步的 guidance length,rₖ 为当前奖励,T 为历史窗口。奖励走高则缩短 guidance,奖励走弱则拉长 guidance。

直观理解:若最近奖励持续上升,则逐步缩短 guidance,让模型自主完成更多推理;若奖励下降,则适当拉长 guidance,降低训练难度。

直觉上,如果最近奖励持续上升,就逐步缩短 guidance,让模型自己完成更多推理;如果最近奖励下降,就适当拉长 guidance,先把训练难度降下来。这比人为预设一个固定 schedule 更贴近论文真正想表达的「adaptive」。

总结与展望

这项工作的价值,不只是提出了一个新 trick,而是把「小模型为什么在 RLVR 里吃不到有效奖励」这件事分析得更清楚:问题不只是模型小,更在于奖励稀疏、advantage 方差信号不足,而且指导强度还会随训练过程变化。

作者也坦言,当前方法仍有两个明显边界:一是验证主要集中在数学和代码任务,跨模态等场景还有待检验;二是 guidance ratio α仍依赖经验搜索,离真正完全自适应还有一步。

论文和项目仓库都已经公开,这项工作为小规模语言模型在 RLVR 场景中的训练设计提供了一个很有价值的方向。

文章来自于"机器之心",作者 "机器之心"。

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)