2025_NIPS_Near-Optimal Distributionally Robust Reinforcement Learning with General $L_p$ Norms

文章核心总结

主要内容

该研究聚焦分布鲁棒强化学习（DRRL）中的样本复杂度问题，针对标准强化学习（RL）存在的仿真到现实鸿沟、对环境扰动敏感等问题，基于鲁棒马尔可夫决策过程（RMDPs）框架，采用广义(L_{p})范数定义不确定性集，在sa-矩形和s-矩形两种假设下，系统分析了RMDPs的样本复杂度。研究通过推导对偶优化形式、提出浓度引理等技术手段，给出了近最优的样本复杂度上界和匹配的极小极大下界，验证了鲁棒RL在特定场景下比标准RL样本效率更高，且s-矩形RMDPs的样本复杂度不高于sa-矩形RMDPs。

核心创新点

1. 广义(L_{p})范数的通用性：首次针对广义光滑(L_{p})范数（含加权、缩放形式）分析RMDPs样本复杂度，突破了以往仅针对TV距离、KL散度等特定度量的局限。
2. 样本复杂度界的优化：为sa-矩形RMDPs提供近最优的上界和匹配下界，为s-矩形RMDPs改进了现有上界并首次给出(L_{\infty})范数下的下界，验证了界的紧致性。
3. 效率对比新发现：证明在广义(L_{p})范数下，鲁棒RL的样本复杂度不高于标准RL，且当不确定性水平较大时更高效；同时s-矩形RMDPs的样本需求并不高于sa-矩形，颠覆了以往对两种矩形假设复杂度的认知。
4. 技术方法创新：推导了sa-和s-矩形RMDPs的新对偶优化形式，提出控制价值函数分散度的无穷跨度半范数，引入新的浓度引理，为复杂场景下的样本复杂度