2025_NIPS_Learning from Videos for 3D World: Enhancing MLLMs with 3D Vision Geometry Priors

文章核心总结与翻译

一、主要内容

本文针对多模态大语言模型（MLLMs）在3D场景理解中依赖密集3D数据输入（如点云、BEV地图）的局限性，提出了一种名为Video-3D Geometry Large Language Model（VG LLM）的新型框架。该框架无需显式3D数据，仅通过视频输入即可增强MLLMs的3D空间理解与推理能力。

核心工作包括：

1. 设计3D视觉几何编码器（基于VGGT），从视频序列中提取帧间对应关系等3D几何先验信息；
2. 通过简单高效的特征融合策略（将2D视觉令牌与3D几何特征在补丁级相加），将3D几何信息注入MLLM骨干网络（Qwen2.5-VL）；
3. 在3D场景理解任务（3D视觉接地、3D密集 captioning、3D视频目标检测）和空间推理基准（VSI-Bench、CV-Bench）上进行全面评估。

实验结果显示，VG LLM在无显式3D输入的情况下，4B模型在VSI-Bench上超越Gemini-1.5-Pro，8B模型创下新的SOTA性能；在3D视频目标检测任务中，精度和F1分数分别提升11.9%和10.7%，且在通用多模态基准上保持良好的泛化能力。

二、创新点

1. 无显式3D输入的3D理解范式：首次实现仅通过RGB视频输入，无需深度图、点云等3D数据，即可让MLLMs掌握3D几何信息与空间推理能力，突破了现有方法对密集3D数据的依赖。
2. 3D几何先验融合架构：提