Offline RL: BAIL: Best-Action Imitation Learning for Batch Deep Reinforcement Learning

NIPS 2020
paper

Intro

考虑一个Deterministic MDP以及Offline dataset { s , a , s ′ , r } \{s,a,s',r\} {s,a,s′,r}，BAIL的核心观点认为最优策略应该满足$G(s,a^{\ast })=V\ast (s)$，那自然由三步走：（1）神经网络V学习offline dataset的"upper envelope of the data".（2）选择动作让Monte Carlo的return与V一致 （3）利用模仿学习让策略近似选择的动作

Method

Upper envelope of the data

假设离线数据来自于任意策略与环境交互并以序列的形式存储。构造神经网络V近似累计回报
$$\underset{\varphi }{\min }\sum _{i=1}^m[V_{\varphi }(s_i)-G_i{]}^2+\lambda \Vert w{\Vert }^{2}s.t.V_{\varphi }(s_i)\ge G_i=\sum _{t=i}^T{\gamma }^{t-i}{r}_t,$$
λ 正则化的上包络始终位于所有返回之上。优化问题努力在保持正则化以防止过拟合的同时，使包络尽可能地接近数据。

基于上述定理，$\lambda$存在一个值提对上述优化问题提供最优泛化。本文提出将上述问题转化为无约束问题：
L K ( ϕ ) = ∑ i = 1 m ( V ϕ ( s i ) − G i ) 2 { 1 ( V ϕ ( s i ) ≥ G i ) + K ⋅ 1 ( V ϕ ( s i ) < G i ) } + λ ∥ w ∥ 2 L^K(\phi)=\sum_{i=1}^m(V_\phi(s_i)-G_i)^2\{1_{(V_\phi(s_i)\geq G_i)}+K\cdot1_{(V_\phi(s_i)<G_i)}\}+\lambda\|w\|^2 LK(ϕ)=i=1∑m​(Vϕ​(si​)−Gi​)2{1(Vϕ​(si​)≥Gi​)​+K⋅1(Vϕ​(si​)<Gi​)​}+λ∥w∥2
其中K远大于1(本文取值1000)

Selecting the best actions

考虑两种方法从离线数据集中选取(s,a)。

1. $G_i>xV(s_i)$: 按照百分比，本文设置$x=0.25$
2. $G_i\ge V(s_i)-x$：按具体数值

在完成收集(s,a)后采用BC方法优化策略。