2025_NIPS_State Entropy Regularization for Robust Reinforcement Learning

文章核心总结与翻译

一、主要内容

该文章围绕状态熵正则化（State Entropy Regularization）在鲁棒强化学习（Robust RL）中的应用展开系统性研究，核心内容如下：

1. 研究背景：强化学习在实际部署中面临模型误设、环境扰动等问题，鲁棒RL旨在提升策略在不确定环境中的可靠性。现有研究多关注策略熵正则化，但状态熵正则化的经验效果（如更好的探索性和样本效率）缺乏理论支撑，其鲁棒性相关特性尚未被系统分析。
2. 理论分析：
   • 奖励鲁棒性：状态熵正则化可精确求解一类奖励鲁棒RL问题，能抵御全局信息扰动，而策略熵正则化仅对局部扰动有效；正则化强度可控制不确定性集的保守性，在ℓ∞\ell_{\infty}ℓ