AI guides

ICML 2026|传统UED瓶颈被打破,强化学习也能精准定位「最近发展区」

By 原方1 viewsSource: 机器之心
ICML 2026|传统UED瓶颈被打破,强化学习也能精准定位「最近发展区」

训练强化学习智能体时,一个常见问题是:有些 level 太简单,智能体跑几遍就会;有些 level 又太难,智能体几乎得不到有效反馈。前者只是在重复已有能力,后者则会把训练预算消耗在无效探索上。真正有价值的训练环境,往往位于二者之间。

The full text has not been translated yet. The Chinese original is shown below.

训练强化学习智能体时,一个常见问题是:有些 level 太简单,智能体跑几遍就会;有些 level 又太难,智能体几乎得不到有效反馈。前者只是在重复已有能力,后者则会把训练预算消耗在无效探索上。真正有价值的训练环境,往往位于二者之间。它刚好超过智能体当前能力边界,但又没有难到完全学不会。换句话说,强化学习训练也存在某种「最近发展区」:高效训练的关键,不只是生成更多 level,而是找到当前阶段最值得学的 level。

Unsupervised Environment Design(UED)正是围绕这一问题展开。UED 不再把训练环境看作固定数据集,而是通过自动生成、选择或重放 level,动态塑造训练分布,让智能体在持续学习中获得更好的泛化能力。但 UED 面临一个核心难题:系统需要知道,哪些 level 真正推动了智能体学习。

近日,来自国防科技大学、厦门大学等机构的研究者提出了PACE(Parameter Change Environment Design)。PACE 使用 level 诱导的策略参数变化作为训练价值信号,直接衡量该 level 是否带来实际学习进展。该工作已被 ICML 2026 接收。

文章配图

  • 论文题目:PACE: Parameter Change for Unsupervised Environment Design
  • 论文链接:https://doi.org/10.48550/arXiv.2605.01358

UED:让训练环境自己形成课程

UED 的出发点并不复杂。传统强化学习通常先给定一批训练环境,再让智能体在其中反复学习。但训练环境并非越多越好,也不是越难越好。如果 level 太简单,智能体很快进入「舒适区」,只能巩固已经掌握的行为;如果 level 太难,智能体又会进入「恐慌区」,长期得不到有效奖励。两种情况都会削弱学习效率和最终泛化能力。

在 UED 之前,Domain Randomization 已经表明,环境多样性有助于提升泛化能力;但这类方法通常只是静态地随机采样环境参数,难以根据智能体当前的学习状态动态调整训练内容。

UED 进一步将「训练什么」纳入学习过程:系统不再把训练环境视为固定背景,而是动态生成、选择或重放 level,并根据某种评价信号决定哪些 level 更值得保留、重放或进一步编辑。理想情况下,这些 level 应该持续贴近智能体当前能力边界:既不轻易被解决,也不完全超出可学习范围。

现有 UED 方法通常需要一个 score 来评价 level。常见做法包括 regret、GAE、MaxMC 等。这些信号在实践中有效,但它们更多从可解性差距、价值估计误差或回报估计出发,没有评估「这次训练到底带来了多少策略改进」。另一类方法更直接,例如 Marginal Benefit 会比较策略更新前后的表现变化,因此更接近真实学习进步。但它需要额外 rollout 来估计更新前后的回报,计算开销更高,估计方差也更大。

因此,UED 的核心问题就变成了:如何简单而准确地判断一个 level 是否真正推动了智能体的学习?

PACE:用参数变化衡量学习进步

PACE 的核心判断很直接:如果一个 level 真正促成了学习,那么智能体在这个 level 上训练后,策略参数应该发生有意义的变化。也就是说,PACE 不再把 level 的价值建立在 regret、GAE 或 Monte Carlo return 等间接信号上,而是直接观察该 level 诱导的策略更新。

文章配图

文章配图

文章配图

图 1:PACE 工作流程图。

基于这一 score,PACE 的运行过程可以分为两个部分:level scoring和policy training(图 1)。

文章配图

实验结果:从迷宫泛化到开放式任务

文章配图

文章配图

图 2:MiniGrid 上的零样本迁移性能。

文章配图

表 1:MiniGrid 上的整体泛化指标。

为了进一步检验 PACE 在更复杂任务中的适用性,论文还在Craftax上进行实验。Craftax 是一个面向开放式强化学习的 JAX benchmark。随着探索推进,智能体会遇到新的区域、机制和目标,任务分布也会持续变化,因此更能检验 UED 方法是否能在长训练过程中持续提供有效课程。

文章配图

文章配图

表 2:Craftax 上 20 个未见过 levels 上的平均回报和标准差。

结语与展望

在强化学习智能体需要持续适应未见环境的背景下,如何准确识别真正推动学习的 levels 是 UED 的关键问题;PACE 通过参数变化这一简单、低方差、计算友好的内生信号,将环境评价直接建立在 realized learning progress 之上,从而减少代理指标偏差、高方差估计和额外 rollout 开销的影响,并为构建更稳定、更可扩展的自适应训练课程提供了新的思路。

文章来自于"机器之心",作者 "原方"。

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)