2025_NIPS_Action Inference by Maximising Evidence: Zero-Shot Imitation from Observation with Worl...

文章总结与翻译

一、主要内容

该研究针对深度强化学习（DRL）样本效率低的问题，提出了一种基于世界模型的零样本观察模仿算法——Action Inference by Maximising Evidence（AIME），核心是复刻人类通过观察快速模仿的能力，具体内容如下：

1. 问题背景：传统DRL算法需要大量环境交互才能学习新行为，而人类等皮质动物可通过观察他人快速掌握新任务。现有模仿学习方法或依赖动作数据、或需要额外环境交互，难以高效利用纯观察数据。
2. 核心框架：AIME分为两个阶段，均以证据下界（ELBO）为优化目标：
   • 阶段1（模型学习）：利用包含动作和观察的自身经验数据集（Embodiment dataset），训练变分世界模型（状态空间模型），学习自身身体结构与环境动态，模型参数训练后冻结。
   • 阶段2（模仿学习）：仅利用专家纯观察演示数据集（Demonstration dataset），将策略视为动作推理模型，通过最大化演示数据在预训练世界模型下的证据，推理出最优动作序列以模仿专家行为，无需额外环境交互或模型微调。
3. 实验验证：在DeepMind Control Suite的Walker和Cheetah环境中，设置MDP（真实状态观察）、Visual（图像观察）、LPOMDP（低维位置观察）三种场景，与BCO(0)等基线方法对比。结果显示AIME在多数场景下性能更优，尤其在跨任务迁移和低数据量场景中表现突出，验证了世界模型的