O2O:Online Decision Transformer(ODT)

ICML 2022
paper

Introduction

利用Transformer对强化学习进行序列建模在离线强化学习中展露头角，但是无法避免的是这种方法受限于离线数据的质量，因此本文将其结合到online的在线微调过程，进而形成本文ODT。为了解决从offline到online过程中的performance drop,文章提出两点：1）采用随即策略扩大探索，并采用策略熵进一步优化探索 ，2）扩展Hindsight experience replaybuffer（HER）

Method

2.1 ODT

本文方法是基于Transformer + RL的offline方法Decision Transformer(DT)。

然而将其简单的从offline迁移到online会出现崩溃，改进的第一步便是提出一种广义的概率学习目标，即学习一种随即策略最大化其似然函数，例如该策略是具有对角协方差矩阵的多元高斯分布，用于模拟状态和rtg条件下的动作分布。其中rgt表示一条轨迹从t时刻到结束的累计奖励：$g_t={\sum }_{t^{\prime }=t}^{|\tau |}{r}_{t^{\prime }},$
$${\pi }_{\theta }(a_t|{\mathbf{s}}_{-K,t},{\mathbf{g}}_{-K,t})=\mathcal{N}({\mu }_{\theta }({\mathbf{s}}_{-K,t},{\mathbf{g}}_{-K,t}),{\Sigma }_{\theta }({\mathbf{s}}_{-K,t},{\mathbf{g}}_{-K,t})),\forall t,$$
最大化对数似然，即最小化负对数似然

$$\begin{array}{rl}J(\theta )& =\frac{1}{K}{\mathbb{E}}_{(\mathbf{a},\mathbf{s},\mathbf{g})\sim \mathcal{T}}[-\log {\pi }_{\theta }(\mathbf{a}|\mathbf{s},\mathbf{g})]\\ & =\frac{1}{K}{\mathbb{E}}_{(\mathbf{a},\mathbf{s},\mathbf{g})\sim \mathcal{T}}[-\sum _{k=1}^K\log {\pi }_{\theta }(a_k|{\mathbf{s}}_{-K,k},{\mathbf{g}}_{-K,k})]\end{array}$$
传统的DT方法没有与环境交互，所以没有对探索进行量化。本文基于策略熵实现：
$$\begin{array}{rl}{H}_{\theta }^T[\mathbf{a}|\mathbf{s},\mathbf{g}]=& \frac{1}{K}{\mathbb{E}}_{(\mathbf{s},\mathbf{g})\sim \mathcal{T}}[H[{\pi }_{\theta }(\mathbf{a}|\mathbf{s},\mathbf{g})]]\\ =& \frac{1}{K}{\mathbb{E}}_{(\mathbf{s},\mathbf{g})\sim \mathcal{T}}\left[\sum _{k=1}^{K}H\right[{\pi }_{\theta }(a_k|{\mathbf{s}}_{-K,k},{\mathbf{g}}_{-K,k})]]\end{array}$$
其中$H[{\pi }_{\theta }(a_k)]$表示Shannon熵。类似于SAC，对策略熵设置下界保证其探索，那么优化问题转化为：
$$\underset{\theta }{\min }J(\theta )\text{subject to}{H}_{\theta }^T[\mathbf{a}|\mathbf{s},\mathbf{g}]⩾\beta$$
该问题转化为对偶问题：${\max }_{\lambda ⩾0}{\min }_{\theta }L(\theta ,\lambda ):J(\theta )+\lambda (\beta -H_{\theta }^{\mathcal{T}}[a|s,\mathrm{g}])$

进一步交替优化参数$\theta$与$\lambda$。优化$\theta$时，固定参数$\lambda$，即优化下述问题：${\min }_{\theta }J(\theta )-\lambda H_{\theta }^T[\mathbf{a}|\mathbf{s},\mathbf{g}]$

优化$\lambda$时，固定参数$\theta$，即优化下述问题：$\underset{\lambda ⩾0}{\min }\lambda (H_{\theta }^T[\mathbf{a}|\mathbf{s},\mathbf{g}]-\beta )$

不同于SAC的最大化累计回报的优化目标，本方法关注的是动作序列的监督学习。严格地说，$H_{\theta }^T[\mathbf{a}|\mathbf{s},\mathbf{g}]$是交叉条件熵，对离线与在线数据发挥不同作用。离线时控制分布不匹配的程度（对最小负对数似然添加正则化项，$\lambda$控制正则程度），在线时则鼓励策略进行探索。

2.2 ReplayBuffer

ReplayBuffer中存在的是trajectories,而非一般RL的transitions。离线训练后，将离线数据中最高的轨迹累计回报的轨迹数据初始化Buffer。在线交互时，完成一次episode获得trajectory，采用先入先出的规定对Buffer进行更新。

对Buffer中的轨迹采样是基于HER的思想。轨迹被采样的概率与其长度相关，具体见Algorithm 2伪代码的2行。然后均匀的对长度k的子序列抽样，具体见Algorithm 2伪代码的7行