搜索

关于“强化学习”的结果

共 198 篇

刚刚,Thinking Machines Lab博客提出在策略蒸馏,Qwen被cue 38次

刚刚,Thinking Machines Lab博客提出在策略蒸馏,Qwen被cue 38次(在新窗口打开)

刚刚,不发论文、爱发博客的 Thinking Machines Lab (以下简称 TML)再次更新,发布了一篇题为《在策略蒸馏》的博客。在策略蒸馏(on-policy distillation)是一种将强化学习 (RL) 的纠错相关性与 SFT 的奖励密度相结合的训练方法。在将其用于数学推理和内部聊天助手时,TML 发现在策略蒸馏可以极低的成本超越其他方法。

AI技术文章
0
RL微调,关键在前10%奖励!基于评分准则,Scale AI等提出新方法

RL微调,关键在前10%奖励!基于评分准则,Scale AI等提出新方法(在新窗口打开)

大模型强化学习总是「用力过猛」?Scale AI联合UCLA、芝加哥大学的研究团队提出了一种基于评分准则(rubric)的奖励建模新方法,从理论和实验两个维度证明:要想让大模型对齐效果好,关键在于准确区分「优秀」和「卓越」的回答。这项研究不仅揭示了奖励过度优化的根源,还提供了实用的解决方案。

AI技术文章
0