2025_NIPS_A Provable Approach for End-to-End Safe Reinforcement Learning

文章核心总结与翻译

一、主要内容

文章聚焦安全强化学习（RL）的长期目标——实现从学习到运行全流程的安全性保障，提出一种名为可证明终身安全强化学习（PLS） 的算法。PLS 整合离线安全 RL 与在线安全策略部署，先通过回报条件监督学习（RCSL）从离线数据集训练回报条件策略，再利用高斯过程（GPs）在线优化目标回报参数，在保证高概率安全的前提下实现近最优回报。实验在多个机器人 locomotion 任务中验证，PLS 是唯一在所有任务中满足安全约束的方法，且在回报性能上优于 BCQ-Lag、CDT 等6类基线算法。

二、核心创新点

1. 全流程安全保障：首次实现从离线学习到在线部署、长期运行的端到端高概率安全保证，解决了现有在线 RL 训练阶段不安全、离线 RL 部署时分布不匹配的核心痛点。
2. 回报条件策略+高斯过程优化：通过 RCSL 训练回报条件策略，将高维策略优化转化为二维目标回报（奖励回报 R、安全成本回报 G）优化，再用高斯过程建模目标回报与实际回报的关系，平衡探索与利用。
3. 理论与实证双重支撑：从数学上证明了目标回报与实际回报的关联，给出安全约束满足和近最优性的理论保证，且实验验证了算法在非严格满足理论假设时仍具备鲁棒性。

三、关键部分翻译（Markdown 格式）

A