Predictable MDP Abstraction for Unsupervised Model-Based RL

ICML 2023
paper
code

Intro

文章提出了一种用于无监督基于模型强化学的方法，称为可预测MDP抽象（Predictable MDP Abstraction, PMA）。在MBRL中，一个关键部分是能够准确建模环境动力学动态模型。然而，这个预测模型误差可能会降低策略性能，并且在复杂的马尔可夫决策过程中（MDPs），准确的预测可能非常困难。

为了缓解这个问题，作者提出了PMA，它不是在原始MDP上训练预测模型，而是在一个变换后的MDP上训练模型，这个变换后的MDP通过学习动作空间中可预测和易于建模的动作，同时尽可能覆盖原始的状态-动作空间。这样，模型学习变得更容易和更准确，从而允许鲁棒、稳定的基于模型的规划或基于模型的RL。这种变换是在无监督的方式下学习的，在用户指定任何任务之前。然后，可以零样本（zero-shot）解决下游任务，而无需额外的环境交互。作者从理论上分析了PMA，并通过一系列基准环境证明了PMA相对于以前的无监督MBRL方法有显著的改进。

Method

PMA 所构建的MDP过程结构如下

而对于可预测的MDP抽象需要满足三个需求

1. 基于隐变量的状态转移函数$p(s^{\prime }|s,z)$得到的状态能够尽可能被预测到, 即最小化预测不确定性
2. 潜在动作的结果应该彼此尽可能不同（即最大化动作多样性以保持原始 MDP 的大部分表现力）
3. 潜在 MDP 中的转换应尽可能覆盖原始转换（即最小化认知不确定性来鼓励探索）

基于上述需求构建如下信息论目标
max ⁡ π z , π e I ( S ′ ; ( Z , Θ ) ∣ D ) , \max_{\pi_z,\pi_e}I(S';(Z,\Theta)|\mathcal{D}), π