2025_NIPS_Double Pessimism is Provably Efficient for Distributionally Robust Offline Reinforcemen...

文章核心总结与翻译

一、主要内容

本文聚焦分布鲁棒离线强化学习（RL），旨在从离线数据集出发学习最优鲁棒策略，使其在受扰动的环境中仍能表现良好。核心内容包括：

1. 问题背景：离线RL需避免与环境的额外交互，但实际中存在“模拟-真实差距”（如机器人在模拟环境训练、真实环境部署），传统RL策略对环境模型敏感，鲁棒RL成为解决方案，但缺乏通用学习原理和高效算法。
2. 核心框架：提出通用算法框架双重悲观模型基策略优化（P²MPO），包含两个关键步骤：
   • 模型估计：灵活适配具体鲁棒马尔可夫决策过程（RMDP）的结构，构建真实环境转移核的置信区域；
   • 双重悲观策略优化：同时考虑“数据不确定性”和“环境鲁棒性”两类悲观性，通过双层下确界估计策略的鲁棒价值函数，最终选择最大化该估计值的策略。
3. 理论保证：在“鲁棒部分覆盖”假设（数据集覆盖最优鲁棒策略诱导的分布及名义模型附近的扰动模型）下，证明P²MPO具有样本效率，子优性间隙上界由模型估计误差和鲁棒部分覆盖系数决定。
4. 模型适配：将P²MPO应用于多种RMDP场景，包括表格型RMDP、因子化RMDP、核函数近似RMDP和神经函数近似RMDP，均实现