Offline RL ： Generalized Decision Transformer for Offline Hindsight Information Matching

ICLR 2022 Spotlight
paper
code

Intro

基于序列模型架构的离线强化学习引入累计奖励丰富输入信号(HER 以及DT中的“returns-to-go：)，从而帮助序列模型的样本效率提升。本文证明了所有这些方法都是事后信息匹配 (hindsight information matching，HIM)—通过训练策略，输出与未来状态信息的在一些统计数据相匹配的其他轨迹。因此，本文提出广义DT算法(GDT)解决离线任务中的HIM问题。同时基于GDT推出提出Categorical DT (CDT)解决多任务state-marginal matching (SMM)问题以及提出Bi-directional DT (BDT) 解决multi-task imitation learning问题。

Method

HIM

对于轨迹数据的信息统计表示为$I(\tau )$，此外定义对轨迹数据中(s,a)通过函数$\Phi$进行特征提取后的得到 τ t Φ = { ϕ t , ϕ t + 1 , … , ϕ T } , ϕ t = Φ ( s t , a t ) ∈ F \tau_t^\Phi=\{\phi_t,\phi_{t+1},\ldots,\phi_T\},\phi_t=\Phi(s_t,a_t)\in F τtΦ​={ ϕt​,ϕt+1​,…,ϕT​},ϕt​=Φ(st​,at​)∈F，以及该集合的信息统计量为$I^{\Phi }({\tau }_t$