2025_NIPS_Zero-shot World Models via Search in Memory

文章核心总结与翻译

一、主要内容

该研究提出一种无需标准训练流程的零样本世界模型（Zero-shot World Models），核心思路是结合相似性搜索与概率建模（变分自编码器VAE），实现环境过渡动力学的预测与状态重建。研究以PlaNet（Dreamer家族经典模型）为基线，在SuperTuxKart、Minecraft、Atari三类视觉差异显著的图像环境中，从单步预测、长 horizon 预测、潜态重建质量、图像重建相似度四个维度展开评估，并设计了三种搜索结构（Rollout buffer、Replay-L2、Replay-KL）验证方法有效性。

主要研究发现：

1. 零样本世界模型在单步预测中与训练型模型（PlaNet）表现相当，在长 horizon 预测中性能更优；
2. 搜索结构影响显著：Replay-KL（基于KL散度的重放缓冲器）在视觉连贯性和动力学一致性上表现最佳，Replay-L2易出现幻觉，Rollout buffer 介于两者之间；
3. 模型性能依赖潜空间覆盖度，在SuperTuxKart、Atari等小范围任务中表现突出，在Minecraft等无限状态空间任务中受限于轨迹覆盖不足；
4. 无需复杂训练流程，实现更简洁，推理速度快于传统训练型世界模型。

二、创新点

1. 提出零样本世界模型范式：摆脱传统世界模型对海量训练数据和复杂架构的依赖，通过“相似性搜索+VAE随机表征”直接近似过渡动力学