2025_NIPS_The Curious Price of Distributional Robustness in Reinforcement Learning with a Generat...

文章总结与翻译

一、主要内容

本文聚焦于生成模型框架下，基于分布鲁棒马尔可夫决策过程（RMDPs）的强化学习（RL）模型鲁棒性研究，核心围绕RMDPs的样本复杂度展开深入分析：

1. 研究背景：标准RL存在仿真与现实差距（sim-to-real gap），在环境微小变化或扰动下可能失效，而分布鲁棒RL（DRL）通过考虑转移核的不确定性集合，旨在学习鲁棒性策略，但RMDPs的样本复杂度尚未被充分理解，现有上下界存在巨大差距，且与标准MDPs的样本复杂度对比不明确。
2. 核心设定：采用生成模型获取名义转移核的样本，不确定性集合满足（s,a）-矩形性，分别基于总变差（TV）距离和χ²散度定义不确定性集合，目标是找到ε-最优鲁棒策略（鲁棒值函数与最优鲁棒值函数的差距不超过ε）。
3. 关键方法：提出模型基算法——分布鲁棒值迭代（DRVI），先通过样本构建经验名义转移核，再利用鲁棒贝尔曼算子迭代求解最优鲁棒策略，借助强对偶性简化优化计算。
4. 核心结果：
   • TV距离场景：建立了极小极大最优样本复杂度，其始终小于标准MDPs的样本复杂度，当σ≲1−γ时与标准MDPs相当，当1−γ≲σ<1时更简单，鲁棒性几乎“免费”获得。
   • χ²散度场景：样本复杂度在有效 horizon 的多项式因子内紧确，当σ→∞时随不确定性水平线性增长；特定区间（如σ≍1、σ≳1/(1−