2025_NIPS_Spatial-MLLM: Boosting MLLM Capabilities in Visual-based Spatial Intelligence

文章主要内容与创新点总结

核心内容

本文提出Spatial-MLLM，一种仅基于2D视频输入就能增强多模态大语言模型（MLLMs）视觉空间智能的框架。现有MLLMs在2D任务上表现出色，但3D空间推理能力有限，且多数3D MLLMs依赖额外3D/2.5D数据（如点云、深度图），限制了实际应用场景。Spatial-MLLM通过双编码器架构、空间感知帧采样策略和专属训练流程，在纯2D输入下实现了先进的空间理解与推理性能，在VSI-Bench、ScanQA等多个基准测试中表现突出。

核心创新点

1. 双编码器架构：融合2D语义编码器（提取高层语义特征）与3D空间编码器（基于视觉几何基础模型，提取3D结构特征），通过连接器生成统一视觉令牌，无需额外3D数据即可获得空间感知能力。
2. 空间感知帧采样策略：推理时从视频中筛选空间信息最丰富的帧，将帧选择转化为体素最大覆盖问题，通过贪心算法求解，在有限输入长度下提升空间推理效率。
3. 专属训练流程：构建含12万条空间问答对的数据集，采用“监督微调（SFT）+冷启动+组相对策略优化（GRPO）”两阶段训练，增强长链推理（long-CoT）能力。

---

翻译部分（Markdown格式）

Abstract