2025_NIPS_Understanding and Addressing the Pitfalls of Bisimulation-based Representations in Offl...

文章核心总结

主要内容

该研究聚焦双模拟（bisimulation）方法在离线强化学习（Offline RL）中的性能瓶颈，通过理论分析和实验验证，揭示了双模拟方法在离线场景下表现不佳的核心原因，并提出针对性改进方案。具体包括：

1. 离线数据集的缺失转移会破坏双模拟原理，导致估计失效；
2. 奖励缩放对双模拟测量范围和价值误差有关键影响，处理不当会引发表征崩溃；
3. 基于期望分位数算子（expectile operator）和定制化奖励缩放策略，对现有双模拟算法（MICo、SimSR）进行改进；
4. 在D4RL和Visual D4RL基准测试中，改进后的算法显著提升了性能。

创新点

1. 理论层面：证明了有限数据集中双模拟估计器的无效性，明确了奖励缩放的必要性；
2. 方法层面：提出基于期望分位数的双模拟算子，避免对不完整数据的过拟合；设计适配双模拟测量特性的奖励缩放策略，缓解表征崩溃；
3. 实践层面：将改进方案应用于两种主流双模拟算法，验证了其在原始状态和视觉观测场景下的有效性。

---

翻译部分（Markdown格式）

Abstract

尽管基于双模拟的方法在强化学习（RL）任务中有望学习鲁棒的状态表征，但其在离线强化学习任务中的效果尚未达到预期。在某些情况下，其性能甚至显著落后于其他替代方法。本研究旨在探究为何