2025_NIPS_Test-Time Scaling with World Models for Spatial Reasoning

MindJourney 论文总结与核心内容翻译

一、文章主要内容

研究背景

3D空间推理是人类认知的核心，也是导航、操作等具身智能任务的关键，但现有视觉-语言模型（VLMs）仅能处理2D图像，缺乏3D动态内部模型，在诸如预测自我中心运动后的场景视图等基础空间推理任务中表现不佳。而可控视频扩散模型的发展为构建3D场景模拟器（世界模型）提供了可能，这类模型可根据单张RGB图像和相机轨迹合成连贯的第一视角视频。

核心方法：MindJourney框架

提出一种测试时扩展（test-time scaling）框架，无需微调即可增强VLMs的3D空间推理能力，核心由两部分构成：

1. 世界模型：采用基于视频扩散的可控模型（如自研的Search World Model(SWM)和公开的Stable-Virtual-Camera(SVC)），输入单张参考图像和相机姿态轨迹，合成符合运动逻辑的第一视角视频，将静态图像转化为可探索的3D空间。
2. 空间束搜索（Spatial Beam Search）：VLMs与世界模型交互，迭代规划探索轨迹：
   • 搜索阶段：VLMs生成候选轨迹，世界模型渲染