2025_NIPS_Martian World Model: Controllable Video Synthesis with Physically Accurate 3D Reconstructi

文章核心总结与翻译

一、主要内容

该研究针对火星场景视频合成的核心挑战（高质量火星数据稀缺、火星与地球影像领域差异大），提出了一套包含数据引擎与视频生成模型的完整解决方案，具体内容如下：

1. 核心问题：现有火星影像多为静态立体对、数据质量受限，且现有视频合成模型基于地球数据集训练，难以适配火星场景，无法满足火星探测任务演练、机器人导航仿真等需求。
2. 两大核心组件：
   • M3arsSynth数据引擎：从NASA行星数据系统（PDS）获取火星漫游车立体影像，通过多阶段过滤（去除低质、冗余、模糊影像）、半自动化优化（结合Grounded-SAM识别非地形干扰）、度量尺度3D重建（利用VGGT估计相机参数、PnP优化姿态、3D高斯溅射建模），生成包含视频、深度图、法向图、相机轨迹、文本描述的多模态数据集（含10K+物理精确的3D火星表面模型）。
   • MarsGen视频生成模型：基于视频扩散Transformer（VDiT）架构，利用M3arsSynth数据集微调，支持以初始帧、相机轨迹或文本提示为条件，生成视觉逼真、3D结构一致的火星地形视频。
3. 实验验证：在视觉保真度（FID、FVD）、3D一致性（2D Warp Error）、新视角合成（PSNR、SSIM、LPIPS）等指标上全面超越现有地球训练的视频合成模型（如Sora、CogVideoX、ViewCrafter），且M