2025_NIPS_Can MLLMs Absorb Math Reasoning Abilities from LLMs as Free Lunch?

一、文章主要内容总结

该研究聚焦于提升多模态大语言模型（MLLMs）的数学推理能力，核心痛点是现有MLLMs在视觉数学推理任务中表现滞后，而传统方法（如高质量数据标注、复杂训练）成本高昂。研究提出一个关键问题：能否让MLLMs无需调优，直接从现成的数学专用LLMs（Math LLMs）中吸收数学推理能力？

研究发现，直接使用现有模型融合方法（如Task Arithmetic、Ties Merging）效果不佳，核心原因是MLLMs与Math LLMs的参数空间存在显著差距（任务向量分布差异大），且未明确模型中与数学推理相关的关键参数。基于此，研究提出IP-Merging方法，通过“参数识别（Identification）+参数投影（Projection）”两步实现无调优融合：

1. 参数识别：通过奇异值分解（SVD）计算MLLM与Math LLM任务向量的子空间相似度，筛选出与数学推理强相关的参数；
2. 参数投影：通过核范数计算缩放因子归一化参数量级，再将筛选后的Math LLM参数投影到MLLM的子空间中，减小参数空间差距，实现对齐融合。

实验验证显示，IP-Merging在MathVista、MathVerse等多个数学推理基准上显著优于现有融合方法，平均准确率提升3.7%以上，且不损害MLLMs在通用知识（MMMU）、视觉问答（TextVQA）等任务上的原有能力。

二、文章创新点

1. <