Offline RL : Reinformer: Max-Return Sequence Modeling for offline RL

ICML 2024
paper
code

Intro

提出了一种新的离线强化学习（offline RL）方法，称为Reinformer。Reinformer通过将最大化回报的目标整合到现有的序列模型中，解决了传统监督式序列模型在离线RL中忽视最大化回报核心目标的问题。Reinformer在训练阶段增加了最大化回报的目标，旨在预测在给定分布中的最大未来回报。在推理阶段，这种在分布内的最大回报将指导选择最优动作。实验结果表明，Reinformer在D4RL基准测试中与经典RL方法具有竞争力，并且在轨迹拼接能力上超越了现有的最先进的序列模型。

Method

利用transformer构建序列模型，实现不仅最大化动作$a_t$概率，还使用期望回归（expectile regression）来使预测回报$g_t$，尽可能接近当前历史轨迹下可实现的最大回报。
对动作预测的损失函数为
$${\mathcal{L}}_{\mathrm{a}}={\mathbb{E}}_{t,n}[-\log {\pi }_{\theta }(a_t^{(n)}|{\mathbf{S}}_{t-K}^{(n)},$$