大模型Scaling撞上成本墙:三星提出TrOPD新方法,把前沿智能塞进数亿终端

三星大模型团队联合牛津大学、北京大学提出TrOPD方法,通过信任域机制让端侧模型更稳定高效地继承大模型推理能力,在数学、代码、指令遵循、STEM基准上全面超越现有OPD方法,为前沿智能以更低成本走向数亿终端提供新路径。

- 标题:Trust Region On-Policy Distillation
- 文章地址:https://arxiv.org/abs/2606.01249
- 项目地址:https://github.com/Xingrun-Xing2/TrOPD
GPT-6 等前沿大模型的能力仍在快速 Scaling,但随之攀升的推理成本,正在成为 AI 进一步规模化普及的关键障碍。当 AI 从云端走向手机、平板、智能家居等终端,模型不仅要 “足够聪明”,还必须塞进有限的内存和算力预算,并满足功耗、时延等严苛约束。
对于拥有数亿级终端设备的三星而言,这一矛盾更加直接:如何用更小的模型、更低的推理成本承载更多智能,让前沿 AI 能力进入更多终端,已经成为端侧智能继续 Scaling 的关键问题。端侧模型能否有效继承大模型的复杂推理能力,不仅决定 AI 能覆盖多少设备和应用场景,也直接影响智能服务的成本与用户体验。
On-Policy Distillation (OPD) 正是解决这一问题的重要技术路径。相比通过结果奖励驱动模型自主探索的 GRPO,OPD 利用教师大模型提供细粒度监督,让端侧模型直接学习更强模型的推理能力。然而,现有 OPD 面临一个关键瓶颈:当教师与学生模型能力差距较大时,监督信号可能失真,甚至导致训练不稳定。
针对这一问题,三星大模型团队联合牛津大学、北京大学提出基于信任域 OPD 方法(Trust Region On-Policy Distillation),通过识别教师 “可信” 的监督区域,让端侧模型更稳定、更有效地继承大模型能力,为前沿智能以更低成本走向数亿终端提供了一条新路径。
核心结论
当前关于 On-Policy Distillation(OPD)的研究,大多缺少统一 benchmark 下的公平对比:不同工作的训练步数、KL 散度估计方式各不相同,很难判断某一种改进是不是真的有效。这篇先把主流 OPD 方法拉到统一设定下系统测了一遍,由此发现了真正决定 OPD 训练成败的关键:
不是该用哪种散度公式(FKL、RKL 还是 JSD),而是教师能否对学生生成的每一个 token 给出可靠监督。一旦学生和教师的输出分布差得太远,监督信号本身就会失真,再精巧的散度公式也救不回来。
沿着这个发现,提出 TrOPD (Trust Region On-Policy Distillation):只在教师 “信得过” 的区域做常规的在策略学习,对教师 “看不懂” 的离群区域换一种更温和的监督,再用离策略引导主动把学生的生成拉向信任区域。在 Qwen3-SFT-1.7B 上,TrOPD 在数学(AIME 25)、代码(LiveCodeBench)、指令遵循(IFBench)、STEM(GPQA)四个基准上分别比原始 OPD 提升+3.34、+4.00、+5.11、+6.18 分,全面超过 EOPD、REOPOLD 等现有方法。

图 1:在 Qwen3-SFT-1.7B 学生模型上,TrOPD(紫色)相较 OPD、REOPOLD 等基线在四个基准上的领先幅度。Qwen-1.7B 为官方的非开源 OPD 版本,仅作为参考。
问题:K1 估计器的两个优化瓶颈
要理解 OPD 为什么会训崩,得先看懂它现在是怎么给 “教师的分数” 打分的。
全词表 OPD 方法(如 GKD、speculative KD)在整个词表上计算 KL 散度,信号最完整,但显存开销是 On⋅k(n 为序列长度,k 为词表大小,常见 LLM 词表动辄十万级),推理模型动辄生成几千上万 token 的思维链,这个开销很快变得不可承受。
为了绕开这个瓶颈,Thinking Machines Lab 提出用 K1 估计器给出 KL 散度的无偏估计,不再对整个词表求和,只在学生实际采样到的那一个 token 上算一次:

这里 πS、πT 分别是学生和教师在当前 token 上给出的概率。单样本估计把显存开销从 On⋅k 压到了 On,代价是优化过程的稳定性,集中体现为两个具体的瓶颈。
瓶颈一:策略梯度离群点。一个 token 对总梯度的贡献大致是 “奖励 × 对数概率的梯度”:奖励
越大,说明教师越认可这个 token,更新幅度也越大。问题在于,一旦学生采样到的某个 token 教师给出的概率
趋近于 0,奖励就会冲向负无穷:一次更新的方向可能被某个 “倒霉” 的离群 token 完全主导,数量级上压过成百上千个正常 token 的贡献总和。
这两个瓶颈说明:光是把 “全词表 KL” 换成省显存的 K1 估计器还不够,它解决了显存问题,却把 “教师监督是否可靠” 这个问题暴露得更彻底。那么,现有的改进思路解决了这个问题吗?
现状综述:主流方法都在改什么
面对这两个瓶颈,现有工作大致沿两条思路修补。
思路一:换散度公式。KL 不对称:RKL 的期望在学生分布上取,重点惩罚“学生有质量、教师没质量”的区域,表现为 mode-seeking——学生被牢牢约束在教师的主要分布上。围绕它有两种改法:一是弃用RKL,改在教师概率最高的 top-k 个词(受显存所限一般取 64)上求和计算 FKL;二是用 JSD 在混合分布上做对称折中(β 默认 0.5),GKD 等工作即属此类。
思路二:筛 token,不改公式。与其修改散度估计,不如直接把 “不靠谱” 的 token 排除在训练之外,常见三种设定:受高熵 GRPO 方法的启发,只保留熵最高的前 20% token、其余置零;REOPOLD 保留全部 token 但给奖励设下限,把低于阈值 τ 的奖励抬到 τ,属于 “温和纠偏”;Token 掩码(Mask)更彻底,直接把超出阈值的奖励梯度清零,即 “完全无视”。
这些改法各自都讲得通,却从未在同一套教师、学生、训练步数和采样设置下被公平比较过 —— 哪条思路真的有用,只能靠实验说话。
诊断实验:先把 OPD 问题找出来
把上述方案统一放到相同的教师模型(Skywork-OR1-Math-7B)、学生模型(DeepSeek-Qwen2.5-1.5B)、训练配置下训了一遍,数学推理基准结果如下:

表 1:以 Skywork-OR1-Math-7B 为教师、在数学推理基准上对比各类 OPD 策略。单独使用 FKL 几乎训不动;裁剪或屏蔽离群奖励有明显提升;离群区域改用前向 KL 效果更好;TrOPD 综合最优。
三个现象,和上一节的理论推演对照着看,很能说明问题:
1. 单独用 top-k 估计的 FKL,训练几乎直接失败。这印证了 top-k 截断 FKL 从教师的概率角度进行估计,依然存在较大的偏差。
2. 按熵筛选 token,反而略微拖了后腿。Entropy OPD 20% 平均分 46.13,比什么都不做的 OPD(RKL)基线 46.79 还低。教师在熵不高的 “普通” token 上同样能提供有效监督,只学高熵 token 反而丢掉了更多有效信号。
3. 奖励裁剪确实有效果,但依赖超参数。Clip Outlier(47.86)和 Mask Outlier(47.72)都比 OPD 基线高出约 1 个点,说明 “抑制离群梯度” 方向是对的。但阈值 τ 需要人工固定设定,没办法随训练进程自适应。
三条现象放在一起,指向同一个结论:
换散度公式,或按熵筛选 token,都没有真正触及问题的根子。判断一个 token 的监督信号是否可靠,不能只看散度公式或熵这类和 “教师是否认可” 无关的指标,而应直接衡量教师和学生在这个 token 上的分歧程度本身。裁剪 / 屏蔽已经摸到了正确方向的边(用奖励大小去筛选),值得进一步探索。
核心方法:基于信任域的 OPD
问题出在离群 token 的梯度失真,TrOPD 的思路很直接:借鉴强化学习里的信任域策略优化(TRPO),只在教师信得过的区域做常规的在策略学习,离群区域换一套更保守的监督。

图 2:TrOPD 总览。学生生成的 token 按教师是否 “认可” 分为信任域和离群区域,分别使用不同的散度估计;同时引入离策略引导,让学生从教师给出的前缀续写。
给定信任域掩码 M(等于 1 表示这个 token 落在信任域内,等于 0 表示离群),单个 token 的训练目标写成:

也就是信任域内继续用原来的 K1 反向 KL,离群区域换成基于教师 top-k 词表的前向 KL。
怎么判定一个 token 是否落入信任域?借用投机解码的思路,把学生看成 “草稿模型”、教师看成 “目标模型”,以下面这个比值作为 token 落入信任域的概率:比值越接近 1,说明教师越认可,该 token 就留在信任域内,继续吃常规的反向 KL 信号;比值越小则说明教师本就不认可,换成更保守的前向 KL 更合适,避免引入离群梯度。
这个设计在训练曲线上的效果非常直观:

图 3:相比原始 OPD 和 Clip Outlier,屏蔽离群点(Mask Outlier)训练过程中策略熵更高(探索能力保留更好)、梯度范数更低更稳(优化更平稳)。
OPD 和 Clip Outlier 的策略熵在训练开始后几十步内就从接近 1.0 断崖式下跌到 0.2~0.3,Mask Outlier 的熵则稳定在 0.5 左右;梯度范数走势一致,OPD 持续更高,Clip、Mask Outlier 很快收敛到接近 0。这说明 “裁剪 / 屏蔽能涨分” 的底层机制是减少了破坏性更新,TrOPD 的信任域机制则把这个 “临时补丁” 变成了有理论依据、能自适应的判据。
离群区域也别把信息全扔了。完全屏蔽离群 token 虽然稳,但可能丢掉有用的监督信号。TrOPD 从教师视角出发,给离群区域补一个前向 KL 目标:
是教师概率最高的 top-k 个词。只要学生在这些词上还留有一点概率,这一项就会产生梯度,推动学生朝教师最认可的词靠拢;若完全不沾边,会趋向无穷大,但实现里这一项随学生概率趋于 0 自动被抑制,不干扰信任域内的正常训练,只在 “还有救” 时出手。
再加一道离策略引导,主动把学生 “拉” 进信任域。前面的信任域划分本质上是 “事后诊断”:先让学生生成,再判断落不落在教师信得过的区域;若学生分布本身就和教师相去甚远,大量 token 一开始就会被划进离群区域。TrOPD 反过来在生成起点上做文章:学生的续写先接上教师生成的一段前缀,用前向 KL 做模仿学习,之后的才切回学生自己生成、继续走信任域机制:

续写接着教师语境往下写,后续 token 落入信任域的概率随之提高,不再是被动等离群 token 出现再补救,而是主动引导学生的探索方向。教师前缀长度 l 训练初期设为最大训练长度,之后按余弦调度退火到 0,学生独立生成比例逐步提高,直到完全变成纯粹的在策略生成,这样训练初期就避开了 “学生自由生成、信任域内所剩无几” 的高风险阶段,再逐步放手交给信任域机制自我调节。
把信任域内的反向 KL、离群区域的前向 KL、离策略引导的前向 KL 合到一起,就是 TrOPD 完整的目标函数:

实验结果
在单领域(仅数学)和多领域(数学 + 代码 + 科学)两种场景下,分别用 DeepSeek-R1-Distill-Qwen-1.5B 和 Qwen3-SFT-1.7B 作学生模型做了系统评测。

表 3:单领域中,TrOPD 相比 OPD 在数学推理上平均提升 +3.06 分,域外任务上提升 +2.63 分;相比同样做了离群点修正的 REOPOLD 仍高出 1.99~1.84 分。多领域下,TrOPD 相比 OPD 提升达 +4.62 分。

表 4:换成更强的 Qwen3-SFT-1.7B 学生模型和 Qwen3-Nemotron-4B 教师模型,多领域下 TrOPD 相比 OPD 平均提升 +3.44 分,AIME 2024 从 48.02 提升到 52.08,IFBench 从 37.07 提升到 42.18。
这些数字里,有两个规律值得多说两句。
第一,TrOPD 的提升不只发生在训练过的领域内。单领域只用数学题训练,但额外评测了域外(OOD)任务:TrOPD 相比 OPD 在训练过的数学推理上平均提升 +3.06 分,在完全没训练过的代码生成和 STEM 任务上提升幅度反而更大,达到 +2.63 分。模型压根没在这些任务上做过在策略训练,这个提升只能来自更本质的原因:信任域机制让教师监督信号被更可靠地利用,这种优化质量的提升自然会泛化到其他任务。
第二,教师和学生差得越远的场景,TrOPD 的优势反而越大。把同一个学生模型放到单领域和多领域(数学 + 代码 + 科学)两种设置下比较:OPD 基线平均分从单领域的 37.11 掉到多领域的 32.99,跌了 4.12 分,任务越杂越难顶住;而 TrOPD 从 40.63 掉到 37.61,只跌了 3.02 分,相对优势反而从 +3.52 分扩大到 +4.62 分。这与信任域机制的设计初衷一致:教师、学生分布差距越大,越需要一套能自适应处理离群点的机制。
结论与展望
TrOPD 的意义,在于把在 OPD 的关注点从散度形式的选择,转向监督信号本身的可靠性。信任域以教师与学生的分歧程度为判据,自适应调整学生模型的学习方式,为 OPD 建立了一套有理论依据的稳定机制。教师与学生的能力差距越大,这一机制的收益越为显著,而这正是端侧部署的常态:在受限的参数与算力预算下,仍要求小模型尽可能完整地承接大模型的推理能力。随着端侧智能向更多设备与场景延伸,进一步提升监督信号的可靠性,将持续决定端侧 AI 能力的上限。
作者信息
本文第一作者为邢兴润博士,现任三星大模型团队研究员。他博士毕业于中国科学院自动化研究所,曾在北京智源人工智能研究院等机构开展研究工作,长期专注于大模型强化学习、高效推理等方向。
本文通讯作者为唐业辉博士。公开资料显示,他现任三星大模型团队负责人、高级技术总监。作为全球规模最大的科技企业之一,三星拥有庞大的研发体系,而 “95 后” 的唐业辉已成为其最年轻的部门负责人,主导大模型训练及核心技术研发。他博士毕业于北京大学,曾入选 “天才少年” 计划,其研究成果在 Google Scholar 上累计引用超过 1.4 万次,并长期担任 NeurIPS、ICML、ICLR 等国际顶级 AI 会议领域主席(Area Chair)。
文章来自于微信公众号 “机器之心”,作者 “机器之心”
Related topics
After reading
Join the AINRK community
Read how to join the community and connect with people working in AI.




