Offline RL : Uncertainty Weighted Actor-Critic for Offline Reinforcement Learning

ICML 2021
paper
code
利用Q的方差作为权重估计，降低OOD数据的影响程度。

Intro

在离线强化学习中，目标是在不需要探索或交互的情况下，从静态数据集中学习。现有的基于Q学习和演员-评论家算法在处理分布外（OOD）行为或状态时存在困难，这可能导致价值估计中的重大错误，从而破坏训练的稳定性。

为了解决这个问题，提出了一种名为不确定性加权演员-评论家（UWAC）的新算法。UWAC背后的关键是检测到OOD行为-状态对，相应地减少它们在训练目标中的影响。这是通过一种实用的基于dropout的不确定性估计方法实现的，防止 Q 函数对OOD数据（高不确定性）过于乐观的学习。与现有的强化学习算法相比，这种方法几乎没有额外的开销。

Method

Uncertainty estimation through dropout

采用Monte-Carlo Dropout来计算Q值不确定性: 即在训练时对每个隐藏层网络输出加入Dropout，测试时也执行Dropout，然后对同一个数据连续T次预测，然后估计方差
$$\begin{array}{r}Var[Q(s,a)]\approx {\sigma }^2+\frac{1}{T}\sum _{t=1}^T{\hat{Q}}_t(s,a{)}^{\top }{\hat{Q}}_t(s,a)-E[\hat{Q}(s,a){]}^{\top }E[\hat{Q}(s,a)]\end{array}$$

其中Dropout源代码为

def forward(self, input, return_preactivations=False):
        h = input
        for i, fc