Offline RL:Pessimistic Bootstrapping for Uncertainty-Driven Offline Reinforcement Learning

没有检索到标题

原创

已于 2024-09-15 19:47:54 修改 · 952 阅读

23 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能

于 2024-02-27 16:23:33 首次发布

本文提出PBRL算法，通过BootstrapQ-functions估计不确定性，将不确定性用于价值函数和策略优化。算法通过惩罚OOD状态动作和采样技术，有效处理离线数据中的OOD问题。

ICLR 2022
Author:Chenjia Bai, Lingxiao Wang, Zhuoran Yang, Zhi-Hong Deng, Animesh Garg, Peng Liu, Zhaoran Wang
Keywords: Pessimistic Bootstrapping, Bootstrapped Q-functions, Uncertainty Estimation, Offline Reinforcement Learning
paper
code

1. Introduction

离线强化学习旨在利用离线数据，不与环境交互下学习策略。但容易受OOD数据影响导致外推误差。常用解决方法由：1）policy constraint以及2）conservative method。前者限制策略接近行为策略，容易受数据集质量影响；后者则是对OOD状态动作的Q-value值进行惩罚，但容易导致保守的价值估计。

对于OOD数据采用基于模型的不确定性度量被证明有效(MOPO、MOREL)，但在复杂环境下模型精确优化困难。

本文提出一种悲观自举的offline RL算法PBRL，基于数据不确定性度量的model-free方法。PBRL通过Bootstrapping Q functions进行价值迭代估计，并将其估计的标准差来量化不确定性，然后将不确定性量化作为惩罚项用于价值函数以及策略优化。除此外，提出一种OOD数据采样技术，作为学习到的Q函数的正则化器。

2. Method

在这里插入图片描述

2.1 UNCERTAINTY QUANTIFICATION WITH BOOTSTRAPPING

维持K个bootstrap Q函数用于不确定性估计。其中，第k个Q原始更新目标为：
$\widehat{\mathcal{T}}Q_\theta^k(s,a):=r(s,a)+\gamma\widehat{\mathbb{E}}_{s'\sim P(\cdot|s,a),a'\sim\pi(\cdot|s)}\Big[Q_{\theta^-}^k(s',a')\Big]$
通过K个Q函数的标准差进行不确定性估计
$\mathcal{U}(s,a):=\mathrm{Std}(Q^k(s,a))=\sqrt{\frac{1}{K}\sum_{k=1}^K\left(Q^k(s,a)-\bar{Q}(s,a)\right)^2}.$