2025_NIPS_Recovering from Out-of-sample States via Inverse Dynamics in Offline Reinforcement Lear...

文章主要内容总结

该文章聚焦离线强化学习（Offline RL）中测试阶段常见的状态分布偏移问题——智能体在分布外（未见过）状态下易采取不可靠动作，导致任务失败。为解决这一问题，作者提出分布外状态恢复（OSR）方法及变体（OSR-v），核心思路是遵循“状态恢复原则”：让智能体在决策时不仅考虑长期回报，还需优先选择能将状态拉回离线数据集分布内的动作，无需显式建模环境转移动态。

具体实现上：

1. 对离线数据集进行噪声注入，生成包含分布外状态的混合数据集，模拟状态偏移场景；
2. 训练逆动力学模型（IDM），将其解释为“带预期即时结果的扩展策略”，用于指导新策略学习；
3. 提出两种约束模式：OSR采用策略约束（最小化新策略与IDM的KL散度），OSR-v采用价值约束（高估分布内转移动作的Q值、抑制分布外动作Q值）；
4. 在MuJoCo和AntMaze基准测试中验证，OSR/OSR-v取得当前最优（SOTA）性能，且在分布外扰动、有限高价值数据场景下鲁棒性更优。

文章创新点

1. 首次针对性解决状态分布偏移问题：现有方法多关注训练阶段的分布外动作问题，而本文聚焦测试阶段的状态分布偏移，通过“状态恢复原则”让智能体从分布外状态回归数据集分布；
2. 无需显式建模环境动态：借助逆动力学模型（IDM）指导策略学习，避免了高维复杂环境中构建前向动力学模型的难题，理论证明其能使新策略的转移状态分布与离线数据集对齐；