2025_NIPS_Safe Exploration in Reinforcement Learning: A Generalized Formulation and Algorithms

文章总结与翻译

一、主要内容

该文章聚焦强化学习中的安全探索问题，针对现实场景（如自动驾驶、医疗、机器人技术）中对安全约束的严格需求，提出了一套通用且兼具理论支撑与实用性的解决方案，核心内容如下：

1. 问题提出：现有安全强化学习（RL）存在多种约束表述（累积约束、状态约束、瞬时约束），缺乏统一框架，且多数算法难以同时保证训练过程中的高概率安全与复杂环境下的优化性能——要么实操算法无训练期安全保障，要么理论算法依赖强假设、实用性不足。
2. 核心框架：提出广义安全探索（GSE）问题，证明了现有三种常见安全RL问题（累积约束、状态约束、瞬时约束）均可转化为GSE问题。GSE以时变阈值的瞬时约束为核心，简化了累积约束和状态约束的处理难度，且更适配时变环境。
3. 算法设计：提出安全探索元算法MASE，通过结合无约束RL算法与不确定性量化器，在保证高概率安全的同时，对不安全探索进行惩罚以避免未来违规。MASE允许智能体在无安全动作时执行“紧急停止”动作重置环境，平衡安全性与探索效率。
4. 算法变体：
   • 理论型变体（GLM-MASE）：基于广义线性模型（GLMs），提供安全与近优性的严格理论保证；
   • 实用型变体：结合高斯过程（GP）保证安全性与深度RL算法最大化奖励，适配复杂环境。
5. 实验验证