2025_NIPS_Safety Gymnasium: A Unified Safe Reinforcement Learning Benchmark

文章核心总结与创新点

主要内容

本文提出了安全强化学习（SafeRL）基准套件Safety-Gymnasium及算法库SafePO，旨在解决现有SafeRL领域缺乏统一、高效评估工具的问题。Safety-Gymnasium基于Gymnasium和MuJoCo构建，支持单智能体、多智能体及纯视觉任务，包含多种安全约束场景；SafePO则整合16种最先进的SafeRL算法，提供高正确性、可扩展性和可视化支持。通过在54个环境中的实验分析，验证了套件的有效性，为SafeRL研究提供了标准化的评估平台。

创新点

1. 环境套件优化升级：重构物理引擎，直接支持MuJoCo最新特性，摆脱对过时依赖的束缚；扩展智能体和任务类型，新增多智能体场景及基于Issac-Gym的高维测试组件；提升视觉任务性能，CPU渲染速度翻倍，支持RGB和RGB-D输入。
2. 易用性与定制化：简化安装流程，仅需一行pip命令即可部署；支持低代码定制，100行内可构建专属环境；兼容Gymnasium和Issac-Gym API，降低集成门槛。
3. 算法库功能完备：SafePO采用单文件架构，16种算法涵盖单/多智能体、一阶/二阶等多种类型，支持快速扩展；提供40+参数可视化和完善文档，确保训练过程可追溯；经严格验证，性能优于或持平现有主流实现。
4. 全面的实验分析：在多场景下完成16种算法的系统对比，揭示奖励与成本的权衡关系、不同算法框架（拉格朗日法vs投