OfflineRL： OFFLINE REINFORCEMENT LEARNING VIA ADAPTIVE IMITATION AND IN-SAMPLE V -ENSEMBLE

ICLR 2025 Poster
离线强化学习 (RL) 旨在从静态数据集中学习，因此面临着对分布外 (out-of-distribution) 行为的价值估计误差的挑战。样本内学习方案通过执行隐式时序差分 (TD) backup来解决此问题，该方法不查询未见行为的价值。然而，预先存在的样本内价值学习和策略提取方法存在过度正则化的问题，限制了它们在非优或组合数据集上的性能。在本文中，我们分析了样本内学习中的关键因素，这些因素可能会阻碍使用较温和的约束。我们提出了具有温度调整和样本内价值集成 (ACTIVE) 的 Actor-Critic，这是一种新颖的样本内离线 RL 算法，该算法利用 (V) 函数的集成进行评论员训练，并使用对偶梯度下降自适应地调整约束级别。我们从理论上表明，(V) 集成抑制了初始价值误差的累积，从而减轻了高估。我们在 D4RL 基准上的实验表明，ACTIVE 减轻了价值函数的过拟合，并且在学习稳定性和策略最优性方面优于现有的样本内方法。

IQL中使用更高的 $\tau$ (或 SQL (Xu et al., 2023) 中更低的 $\alpha$)，以便更好地近似样本内 $Q_{}$