OfflineRL： OFFLINE REINFORCEMENT LEARNING VIA ADAPTIVE IMITATION AND IN-SAMPLE V -ENSEMBLE

ICLR 2025 Poster
离线强化学习 (RL) 旨在从静态数据集中学习，因此面临着对分布外 (out-of-distribution) 行为的价值估计误差的挑战。样本内学习方案通过执行隐式时序差分 (TD) backup来解决此问题，该方法不查询未见行为的价值。然而，预先存在的样本内价值学习和策略提取方法存在过度正则化的问题，限制了它们在非优或组合数据集上的性能。在本文中，我们分析了样本内学习中的关键因素，这些因素可能会阻碍使用较温和的约束。我们提出了具有温度调整和样本内价值集成 (ACTIVE) 的 Actor-Critic，这是一种新颖的样本内离线 RL 算法，该算法利用 (V) 函数的集成进行评论员训练，并使用对偶梯度下降自适应地调整约束级别。我们从理论上表明，(V) 集成抑制了初始价值误差的累积，从而减轻了高估。我们在 D4RL 基准上的实验表明，ACTIVE 减轻了价值函数的过拟合，并且在学习稳定性和策略最优性方面优于现有的样本内方法。

IQL中使用更高的 $\tau$ (或 SQL (Xu et al., 2023) 中更低的 $\alpha$)，以便更好地近似样本内 $Q_{\theta }(s,a)$ 的最大值，从而尽可能地过滤掉次优动作。 然而，我们表明 $V$ 函数的过拟合阻碍了所需的修改。 凭经验，我们发现 $Q_{\theta }(s,a)$的初始误差会被过拟合的 $V_{\psi }(s)$捕获，并通过自举在状态之间传播。 结果是，尽管完全避免了对未见动作的 value 查询，但样本内离线 RL 算法仍然容易出现灾难性的过度估计。 此外，使用更高的 $\tau$（或更低的 $\alpha$）会使 $V_{\psi }(s)$ 对高度高估的 $Q_{\theta }(s,a)$ 值更加敏感，这加剧了 $V$ 函数的过拟合。

为解决这样的过拟合，自然考虑一种较为传统且有效的方法----Ensemble V

仅仅改进值学习可能有助于优化隐式策略，但可能无法完全解决过度正则化问题，因为 AWR 总是施加 KL 散度约束 (Peng et al., 2019)。受 SAC (Haarnoja et al., 2018) 中使用的自动熵调整技术的启发，我们提出了一个约束优化问题，其中数据集中的状态-动作对的平均似然受到约束，而不同状态下的似然可以变化。形式上，考虑以下约束优化问题：

实验结果

对比IQL与SQL提升还是明显的。还有提及SAC-N，但是没有说EDAC（虽说两个都是一篇论文）