2025_NIPS_Natural Actor-Critic for Robust Reinforcement Learning with Function Approximation

文章核心总结与翻译

一、主要内容

本文聚焦大规模鲁棒强化学习（RL）问题，针对模拟器与真实环境间的模型失配问题，提出了兼容函数逼近的鲁棒自然演员-评论员（RNAC）算法。核心是设计两种新型不确定性集合（双采样DS和积分概率度量IPM），解决传统不确定性集合在大规模状态空间下难以计算的痛点，同时提供可证明的收敛保证，并通过MuJoCo仿真环境和TurtleBot真实导航任务验证了算法的鲁棒性能。

二、创新点

1. 提出两种新型不确定性集合：双采样（DS）和积分概率度量（IPM），均兼容大规模状态空间和函数逼近，仅需名义模型采样数据即可无偏估计鲁棒贝尔曼算子。
2. 设计RNAC算法：首个基于策略的鲁棒RL方法，支持线性和非线性函数逼近，提供有限时间收敛保证，线性逼近下样本复杂度可达O~(1/ε2)\tilde{O}(1/\varepsilon^2)