Offline RL:Pessimistic Bootstrapping for Uncertainty-Driven Offline Reinforcement Learning

ICLR 2022
paper

Intro

离线强化学习容易因为OOD数据导致外推误差。以往的方法采用保守Q估计或者是策略约束。这些方法限制对OOD数据价值泛化以及缺乏对这些数据的精确表征。本文提出悲观不确信度量的离线强化学习方法PBRL。

Method

为了有效对OOD数据精确表征，部分model-based 离线方法证明不确信度量方法的有效性，但是需要离线数据学习动力学模型。本文model-free的方法则是利用对多个Q函数进行不确信度量，并作为惩罚项加入Q函数的自举过程：
T ^ in Q θ k ( s , a ) : = r ( s , a ) + γ E ^ s ′ ∼ P ( ⋅ ∣ s , a ) , a ′ ∼ π ( ⋅ ∣ s ) [ Q θ − k ( s ′ , a ′ ) − β in U θ − ( s ′ , a ′ ) ] \widehat{\mathcal{T}}^\text{in}Q_\theta^k(s,a):=r(s,a)+\gamma\widehat{\mathbb{E}}_{s'\sim P(\cdot|s,a),a'\sim\pi(\cdot|s)}\Big[Q_{\theta^-}^k(s',a')-\beta_\text{in}\mathcal{U}_{\theta^-}(s',a')\Big] T inQθk​(s,a):=r(s,a)+γE s′∼P(⋅∣s,a),a′∼π(⋅∣s)​[Qθ−k​(s′,a′)−βin​Uθ−<