2025_NIPS_Learning 3D Persistent Embodied World Models

文章核心总结与翻译

一、主要内容

该研究针对现有嵌入式世界模型（Embodied World Models）在复杂3D环境中存在的短视性问题（无法记忆未观测场景部分，导致长时程规划不一致），提出了Persistent Embodied World Model（持久化嵌入式世界模型）。其核心是将3D记忆机制融入视频扩散模型，实现兼具视觉保真度和空间一致性的长时程视频生成，并赋能下游机器人应用。

核心技术框架

1. 输入与输出：以当前RGB-D观测、智能体动作和3D记忆为输入，预测未来RGB-D视频序列，并动态更新3D记忆。
2. 3D记忆构建：通过DINO-v2提取图像特征，结合深度信息和相机姿态将2D特征投影到3D网格，经最大池化聚合为体素记忆（DINO-Map），保留场景空间关系。
3. 视频生成优化：基于CogVideoX作为骨干网络，引入跨注意力专家块（记忆块）融合3D记忆与视频隐变量，采用Plücker嵌入编码相机姿态，支持RGB-D联合生成以维护几何一致性。
4. 两阶段训练：第一阶段微调骨干网络以适配RGB-D生成和动作控制；第二阶段固定骨干网络，仅训练记忆块以学习3D