2025_NIPS_CQM: Curriculum Reinforcement Learning with a Quantized World Model

文章总结与翻译

一、主要内容

本文针对传统课程强化学习（Curriculum RL）在高维空间中生成课程目标时依赖人工指定目标空间、可扩展性差的问题，提出了一种名为CQM（Curriculum Reinforcement Learning with a Quantized World Model）的新型课程强化学习方法。

核心思路是同时解决“自动定义语义目标空间”和“生成适配的课程目标”两大关键问题：

1. 语义目标空间构建：利用向量量化变分自编码器（VQ-VAE）对连续观测进行离散化处理，得到离散的地标（landmarks），再通过图结构恢复这些离散地标的时间关系，形成包含课程关键信息的语义目标空间，无需人工干预。
2. 课程目标生成：基于构建的目标空间，生成同时考虑不确定性（基于地标出现频率的计数型不确定性）和时间距离（通过Q值估计的 geodesic 距离）的课程目标，并通过混合分布策略（基于KL散度动态调整权重）使课程目标逐步收敛到最终目标。
3. 长 horizon 规划支持：利用图结构的最短路径规划（Dijkstra算法）生成中间路径点，引导智能体分步骤实现课程目标，提升长序列任务的学习效率。

实验验证方面，在7个目标达成任务（包括状态型和视觉输入型任务）中，CQM在数据效率和性能上显著优于现有最先进的课程RL方法，且是唯一在目标维度提升（如从Point任务的6维到Ant任务的29维）时仍能保持稳定性能的方法。