2025_NIPS_Revisiting the Minimalist Approach to Offline Reinforcement Learning

文章核心总结

主要内容

本文聚焦离线强化学习（offline RL），针对现有算法复杂且设计选择影响未被充分研究的问题，以极简基线算法TD3+BC为基础，整合近年研究中的关键设计元素，提出了轻量化算法ReBRAC。通过在D4RL、V-D4RL基准的51个数据集（含本体感受和视觉状态空间）上的实验，ReBRAC在无集成方法中实现了最先进性能，且在离线到在线场景中表现优异。同时，作者通过大规模消融实验和超参数敏感性分析，验证了所整合设计选择的有效性。

创新点

1. 提出极简扩展算法ReBRAC：基于TD3+BC，仅整合关键设计元素（无需复杂核心创新），兼顾简单性与高性能。
2. 系统整合5类关键设计：包括更深网络、层归一化（LayerNorm）、大批量训练、解耦惩罚机制、调整折扣因子，形成最优组合。
3. 多场景验证有效性：在离线、离线到在线、视觉状态空间任务中均实现SOTA或接近SOTA性能，且计算开销低。
4. 大规模实证分析：通过数千次实验完成消融和超参数敏感性研究，明确了各设计选择的影响权重。

---

翻译部分（Markdown格式）

Abstract

近年来，离线强化学习（RL）取得了显著进展，催生了众多复杂程度各异的算法。尽管这些算法带来了显著改进，但许多算法包含看似微小的设计选择，其对性能的影响超出了核心算法创新本身。然而，这些设计选择对现有基线算法的影响尚未得到充分研究。在本研