2025_NIPS_MINT-CoT: Enabling Interleaved Visual Tokens in Mathematical Chain-of-Thought Reasoning

文章主要内容总结

本文针对多模态大语言模型（MLLMs）在视觉数学推理中存在的视觉信息利用不足问题，提出了MINT-CoT方法。该方法通过引入“Interleave Token”（交织令牌），在思维链（CoT）推理步骤中自适应插入细粒度视觉令牌，突破传统边界框式视觉区域选择的局限。为支撑模型训练，作者构建了含54K样本的MINT-CoT数据集，实现推理步骤与视觉令牌的精准对齐，并设计了“文本-only CoT微调→交织CoT微调→交织CoT强化学习”的三阶段训练策略。实验表明，MINT-CoT-7B模型在MathVista、GeoQA、MMStar三大数学基准上，较基线模型分别实现+32.59%、+26.92%、+23.2%的性能提升，显著优于现有开源及部分闭源模型。

核心创新点

1. 细粒度视觉交织机制：提出Interleave Token，通过计算余弦相似度动态筛选与当前推理步骤相关的视觉令牌，支持任意形状的视觉区域选择，解决传统边界框方法粗粒度、关联性差的问题。
2. 专用数据集构建：设计四步自动化 pipeline（图像网格化→OCR文本定位→关键词提取→视觉区域标注），构建54K样本的MINT-CoT数据集，实现推理步骤与视觉令牌的token级对齐。
3. 渐进式训练策略：通过三阶段训练逐步提升模型能