2025_NIPS_See&Trek: Training-Free Spatial Prompting for Multimodal Large Language Model

SEE&TREK 论文核心总结与翻译

一、主要内容

SEE&TREK 是首个无需训练和GPU的空间提示框架，专为提升纯视觉约束下多模态大语言模型（MLLMs）的空间理解能力而设计。针对现有MLLMs在空间推理中存在的视觉同质性和运动信息缺失两大痛点，该框架通过两大核心策略优化：一是最大语义丰富度采样（利用YOLO等现成感知模型提取语义丰富的关键帧，结合Balanced-TopK策略保证帧的语义多样性和时间分布均衡）；二是运动重建（通过视觉里程计模拟相机轨迹，生成BEV和3D轨迹可视化，并通过时空编码将运动线索嵌入关键帧）。该方法仅需单次前向传播，可无缝集成到现有开源或商用MLLMs中，在VSI-BENCH和STI-BENCH两大基准测试中，对不同规模的MLLMs均实现了性能提升，最高增幅达3.5%。

二、创新点

1. 提出首个无需训练和GPU的空间提示框架，实现“即插即用”，兼容各类MLLMs，无需额外计算资源开销。
2. 设计双核心优化策略：最大语义丰富度采样解决视觉同质性问题，运动重建补充运动信息，同时通过时空编码融合两类关键线索。
3. 提出Balanced-TopK关键帧选择策略，平衡帧的语义丰富度、时间分布和类别多样性，避免单一采样偏差。
4. 无需依赖深度图、点云等额外模态，仅基于纯视觉输入即可显著提升MLLMs的空间-时间推理能力，适用于更多实际场景。

---

三、核心部分翻译（Markdown格式）