2025_NIPS_Risk-Averse Constrained Reinforcement Learning with Optimized Certainty Equivalents

文章核心总结与翻译

一、主要内容

本文聚焦高风险场景下的约束强化学习（RL）问题，提出了一种基于优化确定性等价物（OCEs）的风险感知框架。该框架弥补了传统期望收益目标忽略尾部风险的缺陷，通过在目标函数和约束中引入基于奖励的风险度量，实现了对每一步奖励值和时间维度的联合鲁棒性。文章通过参数化强拉格朗日对偶性推导，提出了可封装现有RL求解器（如PPO）的模块化算法，证明了算法在常见假设下的收敛性，并通过Safety-Gymnasium基准测试验证了其在减少约束违反、提升随机稳定性方面的有效性。

二、创新点

1. 首次将基于奖励的风险度量（OCEs）扩展到约束RL场景，覆盖包括CVaR在内的多种实用风险度量。
2. 建立参数化强对偶关系，提出精确的部分拉格朗日松弛方法，在特定约束条件下可等价还原原始约束问题。
3. 设计模块化在线算法，支持风险中性与风险感知目标/约束的混合建模，可直接调用现有RL算法作为黑盒求解器。
4. 严格推导算法的非渐近收敛速率，通过实验验证了变量收敛性和风险管控能力，在导航和速度控制任务中实现零约束违反。

---

三、核心部分翻译（Markdown格式）

Abstract

约束优化为强化学习（RL）中处理冲突目标提供了通用框架。在大多数此类场景中，目标（和约束）通过期望累积奖励表达。然而，这种表述忽略了奖励分布尾部的风险事件甚至潜在灾难性事件，在对异常值风险至关重要的