2025_NIPS_Towards Large-Scale In-Context Reinforcement Learning by Meta-Training in Randomized World

文章核心内容总结

本文聚焦上下文强化学习（ICRL）的规模化挑战，核心是解决现有ICRL任务集规模小、结构性偏差大、训练效率低的问题。通过提出AnyMDP规模化任务生成环境和OmniRL框架，实现了ICRL在多样化未见过任务上的泛化能力。研究证实，任务多样性（至少10K个独特任务）和长上下文建模是ICRL泛化的关键，且泛化能力需以更长的适应周期为代价，为ICRL的规模化研究提供了新范式。

主要创新点

1. AnyMDP任务生成环境：通过程序化生成具有完全随机转移动态和奖励函数的马尔可夫决策过程（MDP），采用带状转移矩阵和递增价值函数设计，在最小化结构性偏差的同时保证任务复杂度，可大规模生成高质量任务。
2. 解耦策略蒸馏（DPD）：分离行为策略与参考策略，引入多样化行为策略生成轨迹，同时保持参考策略的最优性，减少训练与推理轨迹的差异，提升训练效率。
3. 先验信息增强与块式训练：在上下文中标注动作对应的策略元数据，帮助模型理解异质策略；将长序列拆分为片段进行递归训练，突破上下文长度限制，支持超大规模训练（累计60亿步）。
4. 关键实证发现：首次明确任务多样性决定ICRL泛化能力，足够多样的任务分布会激发模型的上下文学习能力；长上下文是泛化的必要代价，评估应侧重渐近性能而非少样本适应速度。

---

翻译部分（Markdo