Offline RL: Uncertainty-Based Offline Reinforcement Learning with Diversified Q-Ensemble

NeurIPS 2021
paper

Introduction

离线强化学习对于OOD数据容易出现外推误差，主流方法通过限制策略以及保守的Q价值估计予以解决，但前者受限于数据集质量的影响，后者则容易导致保守的值估计。

本文则是提高OOD数据的不确定性估计，通过Clip Q-learning进行价值函数层面的惩罚。本文首先提出SAC-N算法，发现简单的增加Q函数便可以提高算法sample- efficiency，但是过多的Q导致计算效率较低，且Q网络出现冗余，因此进一步提出了EDAC。

Method

2.1 SAC-N

文章首先回顾以往offline RL对OOD数据，为了防止Q估计过高所采取的办法，进而指出这些方法忽视了Clipped Q-learning的重要性。为了说明该观点，文章提出SAC-N，即将SAC中Q价值函数由2增加到N，
$$\underset{{\varphi }_i}{\min }{\mathbb{E}}_{\mathbf{s},\mathbf{a},{\mathbf{s}}^{\prime }\sim \mathcal{D}}\left[{\left(Q_{{\varphi }_i}(\mathbf{s},\mathbf{a})-\left(r(\mathbf{s},\mathbf{a})+\gamma {\mathbb{E}}_{{\mathbf{a}}^{\prime }\sim {\pi }_0({\mathbf{s}}^{\prime })}\left[\underset{j=1,\dots ,N}{\min }{Q}_{{\varphi }_j^{\prime }}\left({\mathbf{s}}^{\prime },{\mathbf{a}}^{\prime }\right)-\beta \log {\pi }_{\theta }\left({\mathbf{a}}^{\prime }\mid {\mathbf{s}}^{\prime }\right)\right]\right)\right)}^2\right]$$
$$\underset{\theta }{\max }{\mathbb{E}}_{\mathbf{s}\sim \mathcal{D},\mathbf{a}\sim {\pi }_{\theta }(\cdot |\mathbf{s})}[\underset{j=1,\dots ,N}{\min }{Q}_{{\varphi }_j}(\mathbf{s},\mathbf{a})-\beta$$