2025_NIPS_Explore to Generalize in Zero-Shot RL

文章总结与翻译

一、主要内容

本文聚焦强化学习中的零样本泛化（ZSG-RL）问题，目标是让智能体在训练任务集上优化策略后，能在相似但未见过的测试任务中表现良好。

核心背景

现有基于不变性的方法（如正则化、数据增强等）在ProcGen基准的部分任务（如Maze、Heist）中效果不佳，因为这些任务难以找到有效的任务不变性解决方案，导致智能体容易过拟合训练任务，无法泛化到测试任务。

核心发现

训练旨在探索环境的最大熵策略（maxEnt）比单纯追求奖励最大化的策略更难记忆训练任务细节，其探索行为具有更强的零样本泛化能力——这是因为奖励信号会引导智能体形成特定行为并“记忆”，而探索行为本身更具多样性，不易过拟合。

算法设计（ExpGen）

1. 双模块训练：
   • 训练一个带记忆单元（GRU）的最大熵探索策略（π_H），通过k近邻（k-NN）估计状态熵作为内在奖励，鼓励智能体均匀探索状态空间。
   • 训练一个由多个奖励最大化智能体组成的集成模型（{π_r^j}），用于评估测试时的认知不确定性。
2. 测试时决策：
   • 若集成模型对动作达成共识，则执行该动作；
   • 若未达成共识，则执行最大熵策略的探索动作，驱动智能体进入新的状态空间，直至集成模型重新达成共识。