Model-Based: Live in the Moment: Learning Dynamics Model Adapted to Evolving Policy

DARL ICML 2023
paper
code

Intro

以往的model-based的RL需要使用所有的历史数据拟合环境动力学模型，也就是该模型需要适应所有的历史策略下的状态动作分布，即使这些分布存在偏移问题。因此，本文提出基于策略本身的优先采样方法，优化用于模型训练的样本质量，从而进一步提高model-based方法的sample-efficiency。

Method

首先表示一个经过k-steps后由历史策略构成的集合： Π k = { π 1 , π 2 , . . . , π k } \Pi^{k}=\{\pi_{1},\pi_{2},...,\pi_{k}\} Πk={π1​,π2​,...,πk​}，且对应权重表示为：${\mathbf{w}}^k=[w_1^k\dots ,w_k^k]$，混合策略${\pi }_{\mathrm{mix},k}=({\Pi }^k,w^k)$对应状态动作分布表示为${\rho }^{{\pi }_{\mathrm{mix},k}}(s,a)={\sum }_{i=1}^k{w}_i^k{\rho }^{{\pi }_i}(s,a)$

以往的model-based随机抽样历史策略产生的数据进行model训练，本文在实验中发现随着训练地进行，智能体目标策略不断优化，被访问的状态动作分布以及模型误差也在变化。尤其当前策略的模型预测误差高于历史策略，那基于当前策略进行rollout时，就容易产生异常数据。

本文证明当前策略的模型误差是被Bound，


这个误差上界的第一项表示基于当前策略下的环境交互数据的模型误差，第二项则代表混合策略进行rollout时的状态动作分布偏移以及策略偏移，第三项则是考虑基于model产生的数据对当前策略以及混策略偏移。因此，本文提出的方法通过动作调整$w_i^k$减少混合策略与当前策略的分布偏移，进而实现对上届的优化

算法对分别对历史混合策略以及当前策略设置动态变化的权重参数。
Weights design for historical policies: 对于除了当前策略的历史策略，其权重设置如下
$$\begin{array}{rl}& w_i^k=\frac{{\xi }_{{\pi }_i}^{-1}}{{\sum }_{n=1}^k{\xi }_{{\pi }_n}^{-1}},\\ & {\xi }_{{\pi }_i}={\mathbb{E}}_{s\sim v_{{\hat{c}}_i}^{{\pi }_{\mathbf{mix}}}}\left[D_{TV}({\pi }_c(\cdot |s)||{\pi }_i(\cdot |s))\right],\forall i\in [k-1],\end{array}$$
Weight design for the current policy: 对于将要加入集合的当前策略TV-Distance为0，因此设计权重如下，保证当前策略样本始终优先采样
w k k = { α ∑ i = 1 k − 1 w i k , if α ∑ i = 1 k − 1 w i k > max ⁡ i ∈ [ k − 1 ] { w i k } max ⁡ i ∈ [ k − 1 ] { w i k } , if α ∑ i = 1 k − 1 w i k ≤ max ⁡ i ∈ [ k − 1 ] { w i k } w_k^k=\begin{cases}\alpha\sum_{i=1}^{k-1}w_i^k,&\text{if}\quad\alpha\sum_{i=1}^{k-1}w_i^k>\max_{i\in[k-1]}\{w_i^k\}\\\max_{i\in[k-1]}\{w_i^k\},&\text{if}\quad\alpha\sum_{i=1}^{k-1}w_i^k\le\max_{i\in[k-1]}\{w_i^k\}\end{cases} wkk​={α∑i=1k−1​wik​,maxi∈[k−1]​{wik​},​ifα∑i=1k−1​wik​>maxi∈[k−1]​{wik​}ifα∑i=1k−1​wik​≤maxi∈[k−1]​{wik​}​

由于策略形式为高斯分布，因此对TV-Distance进行缩放
$$\begin{array}{rl}{\xi }_{{\pi }_i}& =\frac{1}{N}\sum _{n=1}^N{D}_{TV}({\pi }_c(\cdot |s_n)||{\pi }_i(\cdot |s_n))\\ & \le \frac{1}{2N}\sum _{n=1}^N\sqrt{tr({\Sigma }_{{\pi }_c^n}^{-1}{\Sigma }_{{\pi }_4^n}-I)+({\mu }_{{\pi }_c^n}-{\mu }_{{\pi }_4^n}{)}^{\mathsf{T}}{\Sigma }_{{\pi }_4^n}^{-1}({\mu }_{{\pi }_c^n}-{\mu }_{{\pi }_4^n})-\log \det ({\Sigma }_{{\pi }_c^n}^{-1}{\Sigma }_{{\pi }_4^n})}\end{array}$$

对集成模型的训练沿用了MBPO最大化对数似然的方法：
$$\mathcal{L}(\theta )=\sum _{n=1}^N[{\mu }_{\theta }^b(s_n,a_n)-s_{n+1}{]}^{\top }{\Sigma }_{\theta }^{b^{-1}}(s_n,a_n)[{\mu }_{\theta }^b(s_n,a_n)-s_{n+1}]+\log \det {\Sigma }_{\theta }^b(s_n,a_n)$$

伪代码

实验