2025_NIPS_Pitfall of Optimism: Distributional Reinforcement Learning by Randomizing Risk Criterion

文章核心总结与翻译

一、主要内容

文章聚焦分布强化学习（DistRL）中“乐观探索”导致的风险单向倾向问题，提出通过随机化风险准则避免有偏探索的解决方案。核心是设计扰动分布贝尔曼最优算子（PDBOO）和实用算法扰动分位数回归（PQR），在不牺牲风险中性最优性的前提下，通过动态调整风险度量的扰动边界，实现无偏探索。理论上证明了算法在弱收缩性质下的收敛性，实证上在N-Chain随机环境和55款Atari游戏中，均优于QR-DQN、IQN等主流分布强化学习算法。

二、创新点

1. 提出随机化风险准则的探索方法（PQR），解决传统乐观探索（如DLTV）的风险单向倾向和有偏数据收集问题。
2. 设计扰动分布贝尔曼最优算子（PDBOO），无需满足传统收缩性质即可保证收敛到最优回报。
3. 基于狄利克雷分布构建模糊集，通过时变扰动边界Δₜ实现动态探索调度，兼顾探索效率与收敛稳定性。
4. 仅通过探索策略优化，在Atari基准测试中达到与Rainbow（融合多种进阶技术）相当的性能，验证了方法的简洁性和有效性。

三、关键部分翻译（Markdown格式）

Abstract

分布强化学习算法试图利用估计的不确定性进行探索，例如面对不确定性时的乐观主义（乐观探索）。然而，使用估计方差进行乐观探索可能导致有偏数据收集，阻碍收敛或降低性能。本文提出一种新颖的分布强化学习算法，通过随机化风险准则选择动作，以避免风险单向倾