Offline RL ：Bootstrapped Transformer for Offline Reinforcement Learning

NIPS 2022
paper
code
可看作是一种数据增强

Intro

最近的一些工作通过将离线 RL 视为一种通用的序列生成问题，并采用诸如 Transformer 架构的序列模型来模拟轨迹上的分布。然而，一般离线 RL 任务中使用的训练数据集通常非常有限，并经常因分布覆盖不足而受到影响，这可能对训练序列生成模型不利。

为此，作者提出了 Bootstrapped Transformer 算法，该算法结合了自举（bootstrapping）的思想，利用学习到的模型生成更多的离线数据，以进一步增强序列模型的训练。通过在两个离线 RL 基准上的广泛实验，作者证明了他们的模型可以大幅弥补现有的离线 RL 训练限制，并超越其他强基线方法。

Method

首先根据序列数据添加累计回报$R_t={\sum }_{t^{\prime }=t}^T{\gamma }^{t^{\prime }-t}{r}_{t^{\prime }}$, 并对原始数据处理成离散的token space
$$\tau ={\tau }_{\text{dis}}=\left(\begin{array}{c}\dots ,s_t^1,s_t^2,\dots ,s_t^N,a_t^1,a_t^2,\dots ,a_t^M,r_t,R_t,\dots \end{array}\right).$$
接下来采用TT架构，通过最大化似然函数$\mathcal{L}$优化序列模型
$$\begin{array}{rl}\log P_{\theta }({\tau }_t|{\tau }_{<t})& =\sum _{i=1}^N\log P_{\theta }(s_t^i|s_t^{<i},{\tau }_{<t})+\sum _{j=1}^M\log P_{\theta }(a_t^j|a_t^{<j},s_t,{\tau }_{<t})\\ & +\log P_{\theta }(r_t|{\mathbf{a}}_t,s_t,{\tau }_{<t})+\log P_{\theta }(R_t|r_t,{\mathbf{a}}_t,s_t,{\tau }_{<t})\\ \mathcal{L}(\tau )& =\sum _{t=1}^T\log P_{\theta }({\tau }_t|{\tau }_{<t}),\end{array}$$

Trajectory Generation

接下俩便是利用模型生成轨迹实现数据增强。文章这里提出了两种增强方法

1. Autoregressive generation：${\tilde{y}}_n\sim P_{\theta }\left(y_n|{\tilde{y}}_{<n},{\tau }_{\le T-T^{\prime }}\right)$。通过自回归的方法生成各个token。
   

2. Teacher-forcing generation：${\tilde{y}}_n\sim P_{\theta }\left(y_n|y_{<n},{\tau }_{\le T-T^{\prime }}\right)$，正常序列生成
   
   增强后的tokens数据将于原始数据concatenate共同训练序列模型

为了防止由于训练数据不准确而导致的累积学习偏差，根据生成百分比 η% 选择每批中置信度分数最高的部分轨迹。置信度定义为所有生成的令牌的平均对数概率为:
$$c(\tau )=\frac{1}{T^{\prime }(N+M+2)}\sum _{t=T-T^{\prime }+1}^T\log P_{\theta }({\tau }_t|{\tau }_{<t})$$

伪代码

算法提出两种Bootstrapp形式。这两种方法都将首先在原始的离线轨迹上训练序列模型，然后利用它生成新的轨迹。但是对增强数据的利用方式不同

1. Boot-o: 将再次在生成的轨迹上训练模型，并在使用它们后立即丢弃它们
2. Boot-r：将生成的轨迹附加到原始数据集中，生成的轨迹将在附加到数据集之后的每个时期使用。

实验结果看第一种结合自回归的增强稍微好点

results

对比其他Offline的方法

对比两种增强方法