2025_NIPS_Context Shift Reduction for Offline Meta-Reinforcement Learning

文章主要内容总结

该研究聚焦离线元强化学习（OMRL）中的上下文偏移问题——元训练阶段基于行为策略收集的上下文与元测试阶段基于探索策略收集的上下文存在分布差异，导致任务推理错误，降低元策略的泛化能力。

为解决该问题，作者提出一种仅依赖离线数据集的新方法CSRO（Context Shift Reduction for OMRL），核心思路是在元训练和元测试阶段均降低策略对上下文的影响：

1. 元训练阶段：设计最大-最小互信息表示学习机制，通过最大化任务表示与任务信息的互信息、最小化任务表示与行为策略的互信息，减少行为策略对任务表示的干扰；
2. 元测试阶段：提出非先验上下文收集策略， agent 先通过随机探索初步感知任务，再基于收集的上下文逐步优化任务识别精度，避免初始先验任务表示对探索的误导；
3. 采用 BRAC 作为离线骨干算法，缓解离线学习中因动作分布偏移导致的 Q 值高估问题。

实验在 Point-Robot、MuJoCo 等 6 个环境（含奖励函数变化和动态函数变化场景）中展开，CSRO 相较于 OffPearl、FOCAL 等现有方法，显著降低了上下文偏移，提升了对未见过任务的泛化能力，且通过消融实验验证了核心组件的有效性。

文章创新点

1. 首次针对性解决 OMRL 上下文偏移问题：现有方法要么忽略