Offline:Model-Based Offline Reinforcement Learning with Uncertainty Estimation and Policy Constraint

IEEE TAI 2024
paper
code
采用集成模型下MC Dropout实现状态动作对的不确定性估计，该估计将作为奖励函数的正则化项。然后基于MMD约束实现策略优化。

Intro

面对离线RL中由分布偏移引起的高估问题，显式不确定性估计是一种有希望的方法。论文提出了一种名为MOUP（带不确定性估计和策略约束的基于模型的离线RL）的新算法，在集成网络中引入了蒙特卡洛（MC）dropout以获得可靠的不确定性估计，将最大均值差异（MMD）约束整合进策略优化中限制状态不匹配。

Method

Ensemble Dropout Network

采用集成高斯模型对环境动力学模型进行建模
$$\begin{array}{rl}& T_{\varphi }(s_{t+1},r_t|s_t,a_t)=N({\mu }_{\varphi }(s_t,a_t),{\Sigma }_{\varphi }(s_t,a_t))\\ & {\mu }_{\varphi }(s_t,a_t)=\sum _{i=1}^K{\mu }_{\varphi i}(s_t,a_t),\\ & {\Sigma }_{\varphi }\left(s_t,a_t\right)=\sum _{i=1}^K{\Sigma }_{{\varphi }^i}(s_t,a_t).\end{array}$$
对于每一个模型，采用基于MC Dropout对估计方差建模
$$Var\left[\varphi \right]=\frac{1}{K}\sum _{i=1}^K{\mu }_{{\varphi }^i}{\left(s_t,a_t\right)}^T{\mu }_{{\varphi }^i}\left(s_t,a_t\right)-E{\left[{\mu }_{{\varphi }^i}\left(s_t,a_t\right)\right]}^{T}E\left[{\mu }_{{\varphi }^i}\left(s_t,a_t\right)\right].(12)$$

估计方差与模型估计的标准差联合得到不确定性估计
$${\hat{\Sigma }}_{\varphi }\left(s_t,a_t\right)=Var\left[\varphi \right]+{\Sigma }_{\varphi }\left(s_t,a_t\right).$$

选取集成模型中不确定性估计最大的模型，作为正则化项加入到预测的奖励函数中（MOPO算法中也采用这种惩罚项设置）
$$\tilde{r}(s_t,a_t)=\hat{r}(s_t,a_t)-\lambda \underset{i=1,...,H}{\max }\Vert {\hat{\Sigma }}_{{\varphi }_i}\left(s_t,a_t\right){\Vert }_{\mathrm{F}}.（14）$$

Policy constraint

基于MMD约束的RL问题表示如下
$$\begin{gathered} \pi (\cdot \mid s_t):=\underset{\pi }{\max }{\mathbb{E}}_{a_t\sim \pi (\cdot \mid s_t)}[Q(s_t,a_t)] \\ s.t.{\mathbb{E}}_{{\tilde{s}}_t,{\hat{s}}_t\sim D}[\mathbf{MMD}(\hat{T}({\tilde{s}}_{t+1}|{\tilde{s}}_t,\pi (\cdot \mid {\tilde{s}}_t)),{\hat{s}}_t)]\le \eta , \end{gathered}$$
然后通过拉格朗日乘子转化为,最小化如下问题：
$$L_{\pi }:=-{\mathbb{E}}_{a_t\sim \pi (\cdot |s_t)}[Q(s_t,a_t)]+\alpha ({\mathbb{E}}_{{\tilde{s}}_t,{\hat{s}}_t\sim D}[\mathbf{MMD}(\hat{T}({\tilde{s}}_{t+1}|{\tilde{s}}_t,\pi (\cdot \mid {\tilde{s}}_t)),{\hat{s}}_t)]-\eta ).$$

伪代码

结果