2025_NIPS_Policy Optimization for Continuous Reinforcement Learning

文章主要内容总结

该文章聚焦连续时间与空间下的强化学习（RL），针对无限时域折扣目标和随机微分方程（SDE）驱动的动态系统，构建了统一的策略优化理论框架。核心内容包括：定义贴现占用时/测度（离散MDP中访问频率的连续对应）和q值（瞬时优势率函数）；推导性能差异公式，为后续算法提供理论基础；提出连续版策略梯度（CPG）和TRPO/PPO（CPPO）算法，无需时空离散化即可直接应用；通过线性二次（LQ）随机控制和二维最优配对交易两个实验，验证了算法的收敛性和有效性，且在部分场景下优于传统离散化方法。

创新点

1. 提出贴现占用时/测度概念，填补了连续RL中离散MDP访问频率的对应理论空白。
2. 推导连续RL的性能差异公式，建立了策略性能与q值、占用时的关联，为算法设计提供核心依据。
3. 首次构建连续版PG、TRPO/PPO算法，突破离散化局限，适配高频率交互场景（如自动驾驶、高频交易）。
4. 设计带自适应惩罚项的CPPO算法，采用平方根KL散度提升性能，通过理论推导给出性能边界，保障策略改进。

---

Abstract（摘要翻译）

本文研究连续时间与空间下的强化学习（RL）问题，针对无限时域贴现目标和由随机微分方程驱动的底层动态系统展开分析。基于连续强化学习的最新研究进展，我们提出了贴现目标下的占用时概念，并展示了其在推导性能差异公式和局部近似公式中的有效应用。我们进一步将这些结果拓展至策略梯度（PG）和置信域策略优化/近端策略优化（TRPO/PPO）方法，这些方法在离散强化学习中已成为成熟高效的工具，