2025_NIPS_Distributional Pareto-Optimal Multi-Objective Reinforcement Learning

文章总结与翻译

一、主要内容

该研究聚焦多目标强化学习（MORL）的核心局限——现有方法仅关注回报的期望值，无法捕捉回报分布层面的偏好（如风险容忍度、安全约束等），针对这一问题开展了系统性研究：

1. 核心背景：传统MORL致力于学习帕累托最优策略集，以适配不同用户对多目标的线性偏好，但在自动驾驶等实际场景中，用户不仅存在目标偏好不确定性，还对回报分布（如风险、安全）有特定需求，现有方法难以满足。
2. 理论扩展：提出分布帕累托最优（DPO） 概念，将帕累托最优从“回报期望值最优”扩展到“回报分布最优”，通过随机占优理论定义分布间的优劣关系，证明了风险敏感型、安全约束型等策略均属于DPO策略集。
3. 算法设计：提出分布帕累托最优多目标强化学习（DPMORL） 算法，分为两步：
   • 生成多样化非递减效用函数：通过非递减神经网络参数化效用函数，并采用基于价值和梯度的多样性目标函数，确保覆盖各类分布偏好；
   • 基于效用函数优化策略：通过状态增强将多目标回报转化为标量奖励，适配现有RL算法（如PPO、SAC），无需修改即可优化出DPO策略。
4. 实验验证：在5个MORL基准环境（DeepSeaTreasure、FruitTree等）中，与4种主流基线方法对比，通过标准指标（期望效用、超体积）和分布专用指标（约束满足度、方差目标）验证，D