Representation RL : DreamerPro: Reconstruction-Free Model-Based Reinforcement Learning with Prototyp

ICML 2022
paper
code

Intro

Dreamer系列的model-based的方法需要通过解码器，将状态$z_t=[h_t,s_t]$重构为观测状态进而优化世界模型。这导致面对高位图像输入时计算复杂度高。
$${\mathcal{J}}_{\mathrm{DREAMER}}=\sum _{t=1}^T{\mathbb{E}}_q[\underset{{\mathcal{J}}_{\mathrm{o}}^t}{\underbrace{\log p(o_t\mid h_t,s_t)}}+\underset{{\mathcal{J}}_{\mathrm{R}}^t}{\underbrace{\log p(r_t\mid h_t,s_t)}}-\mathcal{J}$$