离线强化学习(Offline RL)系列3: (算法篇)策略约束 - BEAR算法原理详解与实现

论文信息：Stabilizing Off-Policy Q-Learning via Bootstrapping Error Reduction

本文由UC Berkeley的Sergey Levine团队(Aviral Kumar)于2019年提出，并发表在NIPS2019会议上，是一篇在Scott Fujimoto的BCQ算法基础上，另辟蹊径的提出的一种经典的解决Offline RL中累计误差的文章，文章理论分析非常扎实，同时作者也全部opensource了代码，非常推荐研究。

摘要：策略约束（Policy constraint）作为一种非常重要的约束方法广泛的用在强化学习领域，比如online学习中TRPO、PPO， ACKER等，以及离线强化学习中的BCQ算法。然而，在offline中，BCQ使用的VAE和生成扰动网络虽然解决了extrapolation error,但对于一些仍然处于行为策略分布外（Out-of- Distributuin, OOD）的状态-动作无法很好的拟合，本文阐述的BEAR算法是一种新的策略约束解决办法，其通过一种交Support-set matching技术解决了learned policy和behavior policy之间的关系，达到了一种state of the art的效果。

1. 前言(约束方法回顾)

在离线强化学习(Offline RL)中，策略约束（Policy Constraint）方法通常分为四大类：

• 显式f-散度约束（Explict f-divergence constraint）
• 隐式f-散度约束（Implict f-divergence constraint）
• 积分概率度量约束(Integral probability metric, IPM)
• 策略惩罚(policy penalty)

本篇博文将首先回顾一下Online的TRPO、PPO的约束方法，以及Offline的BCQ方法，然后接着产阐述基于策略约束的BEAR（Bootstrapping error accumulation reduction）算法。

1.1 TRPO约束方法

TRPO [1]为了让学习的新策略 ${\pi }_{new}$ 和旧策略 ${\pi }_{old}$ 之间保持一个安全距离，作者通过使用KL散度去约束两个学习分布之间的距离来提高学习的效率，Objective函数如下所示：
$$\begin{array}{rl}& \underset{\theta }{\mathrm{maximize}}{\mathbb{E}}_{s\sim {\rho }_{{\theta }_{\text{old }}},a\sim q}\left[\frac{{\pi }_{\theta }(a\mid s)}{q(a\mid s)}{Q}_{{\theta }_{\text{old }}}(s,a)\right]\\ & \text{ subject to }{\mathbb{E}}_{s\sim {\rho }_{{\theta }_{\text{old }}}}\left[D_{\mathrm{K}\mathrm{L}}\left({\pi }_{{\theta }_{\text{old }}}(\cdot \mid s)\Vert {\pi }_{\theta }(\cdot \mid s)\right)\right]\le \delta \end{array}$$

通过公式变换，最终需要解决如下问题
$$\underset{\theta }{\mathrm{maximize}}{\hat{\mathbb{E}}}_t[{\pi }_{}$$