2025_NIPS_Survival Instinct in Offline Reinforcement Learning

文章核心总结与翻译

一、主要内容

离线强化学习（RL）存在一个意外特性：即便使用全零、随机或与真实奖励相反的“错误”奖励标签，在众多基准数据集上仍能训练出性能优异且安全的策略。这一现象源于离线RL算法的悲观主义机制与数据收集过程中的隐含正向偏差的相互作用：悲观主义赋予智能体“生存本能”，使其倾向于长期停留在数据支持范围内；而数据的有限覆盖范围进一步约束了“生存策略”集合，当这些策略与真实奖励下的最优策略相关时，就会产生稳健行为。文章通过理论证明和大量实验（覆盖D4RL、Meta-World、SafetyGymnasium等基准）验证了这一机制，并指出离线RL具备“双重稳健性”（奖励正确或数据有正向偏差均可表现良好）和“内在安全性”（数据仅含安全状态时无需专门约束即可学习安全策略）。

二、创新点

1. 发现离线RL对奖励误指定的强稳健性，打破了“RL对奖励高度敏感”的传统认知。
2. 提出“生存本能”理论，揭示悲观主义机制与数据正向偏差的协同作用是稳健性的核心来源。
3. 证明离线RL的双重稳健性和内在安全性，为无高质量奖励场景的应用提供理论支撑。
4. 提出基准测试新建议：需结合错误奖励训练结果，分离回报最大化与生存本能、数据偏差的复合影响。

---

三、关键部分翻译（Markdown格式）

Abstract

我们提出一个