2025_NIPS_Connected Superlevel Set in (Deep) Reinforcement Learning and its Application to Minima...

文章总结与翻译

一、主要内容总结

该研究聚焦强化学习（RL）中策略优化问题的优化 landscape 结构，核心围绕“上水平集连通性”展开，具体内容如下：

1. 核心理论结果：

   • 表格型策略场景下，策略优化目标函数的上水平集（满足目标函数值≥指定阈值的策略集合）始终是连通集；
   • 扩展至深度强化学习场景，当策略由一类过参数化神经网络表示时，目标函数关于网络参数（权重）的上水平集在所有层级均保持连通；
   • 进一步证明，策略优化目标函数作为策略参数和奖励的函数，满足更强的“等连通性”（equiconnectedness）性质——连通路径不依赖于奖励函数。

2. 关键应用：

   • 将上水平集连通性结果应用于鲁棒强化学习的极小极大定理推导；
   • 证明：若极小极大优化问题一侧是凸函数、另一侧满足等连通性，则极小极大等式成立（即存在纳什均衡）；
   • 针对“对抗性奖励攻击”场景下的鲁棒RL问题，验证其恰好满足上述结构，首次确立了该类问题的极小极大等式有效性。

3. 相关概念辨析：

   • 明确梯度占优条件（gradient domination）与上水平集连通性是相互独立的优化 landscape 性质：一维函数中梯度占优隐含连通性，但高维场景下二者无必然关联（通过两个反例验证）