2025_NIPS_Trust Region-Based Safe Distributional Reinforcement Learning for Multiple Constraints

文章核心总结

本文提出一种基于信任区域的安全分布强化学习算法（SDAC），旨在解决安全关键型机器人任务中的多约束处理和低偏差风险规避约束估计问题。核心创新包括梯度整合方法（同步处理多约束以快速达成可行性）和TD(λ)目标分布（降低约束估计偏差），实验验证其在单/多约束任务中均优于现有基线，约束满足效率和违规率表现更优。

---

主要创新点

1. 梯度整合方法：通过二次规划整合所有约束梯度，将不安全策略投影到可行集，保证有限时间内收敛，解决多约束下的不可行初始问题。
2. TD(λ)目标分布：融合多步分布的分位数回归损失，生成统一目标分布，平衡偏差-方差权衡，实现低偏差风险规避约束估计。
3. 安全分布演员-评论员架构：结合分布评论员与信任区域策略更新，兼顾高任务回报与严格安全约束满足，适配连续动作空间和离线学习场景。

---

翻译部分（Markdown格式）

Abstract

在安全关键型机器人任务中，必须减少潜在故障并满足多重约束，例如避碰、限制能耗和保持平衡。因此，在这类机器人任务中应用安全强化学习（RL）需要处理多重约束，并使用风险规避约束而非风险中性约束。为此，我们提出一种基于信任区域的多约束安全强化学习算法，称为安全分布演员-评论员（SDAC）。我们的主要贡献如下：1）引入梯度整合方法以解决多约束问题中的不可行性问题，确保理论收敛性；2）