
STOPD利用随机截断与加权,实验中训练最高提速2.2倍 (opens in a new tab)
STOPD通过随机分块截断与逆概率加权减少OPD生成开销。作者在数学、代码和指令遵循实验中报告,生成token减少25%—48%,训练加速1.3—2.2倍,评测表现接近Vanilla OPD,并分析了期望梯度与单步更新误差。
Total 1 articles

STOPD通过随机分块截断与逆概率加权减少OPD生成开销。作者在数学、代码和指令遵循实验中报告,生成token减少25%—48%,训练加速1.3—2.2倍,评测表现接近Vanilla OPD,并分析了期望梯度与单步更新误差。