2025_NIPS_Cross-Episodic Curriculum for Transformer Agents

文章核心总结与翻译

一、主要内容

本文提出一种名为跨回合课程（Cross-Episodic Curriculum, CEC） 的新型算法，旨在提升Transformer智能体的学习效率与泛化能力。核心思路是将跨回合经验组织为结构化课程并融入Transformer的上下文，通过跨回合注意力机制提取序列数据中的渐进式学习信号（如策略改进、任务难度提升、演示者熟练度增长），实现高效学习。

研究在两类代表性场景中验证了CEC的有效性：

1. 强化学习（RL）场景：基于DeepMind Lab的3D迷宫环境（含Goal Maze、Watermaze等任务），处理离散控制与视觉/动力学扰动下的泛化问题；
2. 模仿学习（IL）场景：基于RoboMimic的机器人操作任务（Lift、Can任务），利用混合质量的人类演示数据实现连续控制。

实验结果表明，CEC在零样本泛化任务中性能超越RL Oracle、Decision Transformer（DT）、Agentic Transformer（AT）等基线方法，在 hardest 任务（如Irreversible Path）中比课程RL Oracle提升50%，且在环境动力学扰动下表现出1.6倍的鲁棒性。

二、创新点

1. 跨回合课程设计：首次将多回合经验按"渐进式改进"逻辑组织为课程（包括学习进度型、任务难度型、演示者熟练度型三类课程），挖掘单