2025_NIPS_One Risk to Rule Them All: A Risk-Sensitive Perspective on Model-Based Offline Reinforc...

文章核心总结

主要内容

该研究聚焦安全关键领域的离线强化学习（RL），针对离线RL的两大核心问题——分布偏移（避免策略访问数据集外的状态-动作对）和风险规避（应对环境随机性与数据缺失带来的不确定性），提出了模型基算法1R2R。1R2R通过模型集成估计认知不确定性（数据缺失导致），结合风险度量调整合成数据的转移分布，让策略同时规避认知不确定性（解决分布偏移）和偶然不确定性（环境随机性），在确定性和随机环境基准测试中均展现出优异性能。

核心创新点

1. 提出将风险规避作为统一机制，同时解决离线RL的分布偏移和风险敏感两大问题，无需结合多种独立技术，简化算法结构。
2. 首个面向风险规避的模型基离线RL算法，通过模型集成表征认知不确定性，利用动态风险度量实现对两种不确定性的联合规避。
3. 采用对抗性修改合成数据转移分布的方式优化风险敏感价值函数，无需训练计算成本高昂的分布价值函数，兼顾性能与效率。

翻译部分（Markdown格式）

Abstract

离线强化学习（RL）适用于无法进行在线探索的安全关键领域。在这类领域中，决策需考虑灾难性结果的风险，即决策应具备风险规避性。离线RL的另一项挑战是避免分布偏移，也就是确保策略访问的状态-动作对始终接近数据集中的样本。以往考虑风险的离线RL算法，需结合离线RL技术（用于避免分布偏移）与风险敏感RL算法（用于实现风险规避）。本研究提出，将风险规避作为一种机制，可同时解决这