2025_NIPS_RobustMerge: Parameter-Efficient Model Merging for MLLMs with Direction Robustness

文章核心总结与翻译

一、主要内容

本文聚焦多模态大型语言模型（MLLMs）的参数高效模型融合问题。随着模型规模扩大和数据量增长，参数高效调优（如LoRA）成为获取任务特定模型的主流方式，但现有模型融合方法多针对全量微调模型设计，直接应用于参数高效模型时存在性能下降、泛化能力不足等问题。

文章从低秩分解视角分析发现：方向鲁棒性（即保持奇异值方向稳定）是参数高效模型融合的关键，而弥补奇异值间的显著差距有助于提升方向鲁棒性。基于此，提出无训练依赖的参数高效融合方法RobustMerge，通过两大核心步骤实现高性能融合：

1. 剪枝与互补参数缩放：剔除低效参数，利用参数间关系构建缩放系数，平衡奇异值差距以减少任务干扰；
2. 跨任务归一化：缓解不同任务数据规模不平衡问题，提升对未见过任务的泛化能力。

实验方面，构建了包含8个已见任务和4个未见任务的多模态融合基准（MM-MergeBench），并在视觉任务和通用多模态基准（POPE、MME、MMBench）上验证。结果显示，RobustMerge在已见任务上平均提升3.4%，未见任务上平均提升4.5%，且在不同模型规模、秩设置和参数高效调优方法下均表现稳定。

二、创新点

1. 首次从低秩分解的方向鲁棒性角度切入参数高效模型融合，揭