Offline: （A2PR）Adaptive Advantage-Guided Policy Regularization for Offline Reinforcement Learning

ICML 2024
paper
code

Intro

离线强化学习中基于policy constraint的方法（TD3+BC）存在的问题是：无法选择性的对样本进行合适的约束。当数据集质量较低时，这种问题尤为明显。因此，本文基于TD3+BC，提出通过优势函数值自适应的选择合适的动作实现BC正则。

Method

policy improvemen

采用最大化Q值结合BC正则的形式对策略优化

其中，如何选择$\bar{a}$是本文的重点。文章采用优势函数值判断：


这里的$\hat{\pi }$是通过VAE训练得到的，并且通过一个指示函数加权限制了由VAE重构的动作质量（具备更高的优势值）。

police evaluation

采用TD3中双Q网络，并最小化bellman均方误差更新Q


优势函数则表示为

智能体根据优势函数值采取更优越的行动，减轻因不必要的policy constraint而产生的次优或低回报行为所带来的过度悲观估计。

伪代码

Results

理论

理论方面首先给予一个假设：Q值以及状态转移函数符合李普希兹连续。一个重要结果就是证明利用基于优势函数值加权的VAE重构的动作，可以推导出一个策略表现上的tighter的upper bound

说明方法可以有效缩小目标策略与最优策略之间的性能差距。通过有选择地关注高优势值的样本，不仅提高了行为策略的质量，还有助于获得更高效的优化结果。
（更详细的证明见原文）

summary

选择合适的样本进行policy constraint可以提升策略优化的质量。本文提出的优势函数值判断是一个成功的实现方案。考虑推广到O2O以及LfD的设定下，基于优势函数值选择样本避免performance drop并提高在线的sample efficiency。