Diffusion for World Modeling: Visual Details Matter in Atari

本文是LLM系列文章，针对《Diffusion for World Modeling:Visual Details Matter in Atari》的翻译。

摘要

世界模型构成了一种以安全和样本有效的方式训练强化学习主体的有前景的方法。最近的世界模型主要基于离散潜在变量序列来对环境动力学进行建模。然而，这种压缩为紧凑的离散表示可能会忽略对强化学习很重要的视觉细节。同时，扩散模型已经成为图像生成的主要方法，这对建模离散潜伏期的成熟方法提出了挑战。受这种范式转变的启发，我们引入了DIAMOND（作为环境梦想模型的扩散），这是一种在扩散世界模型中训练的强化学习代理。我们分析了使扩散适合世界建模所需的关键设计选择，并展示了改进的视觉细节如何提高代理性能。DIAMOND在竞争激烈的Atari100k基准上获得了1.46的平均人类标准化分数；完全在世界模式下训练的最适合代理的新产品。为了促进未来对世界建模扩散的研究，我们在https://github.com/eloialonso/diamond上发布了我们的代码、代理和可玩世界模型。

1 引言

2 前言

3 方法

4 实验

5 分析

6 相关工作

7 局限性

8 结论和深远影响

我们介绍了DIAMOND，一种在扩散世界模型中训练的强化学习代理。我们解释了我们所做的