Vision-Centric Activation and Coordination for Multimodal Large Language Models

文章核心总结与创新点

一、主要内容

该研究针对多模态大语言模型（MLLMs）仅依赖文本下一个token预测监督、忽视视觉中心信息的问题，提出了名为VaCo（Vision-Centric Activation and Coordination）的调优方法。VaCo通过整合多个视觉基础模型（VFMs）的视觉中心激活与协调机制，优化MLLM的表征能力，实现文本输出与视觉输出的联合优化。

研究采用两阶段训练范式（预训练PT+监督微调SFT），核心组件包括：

1. 视觉中心激活：设计模块化任务查询（MTQs）提取特定视觉任务信息，通过视觉对齐层（VALs）将MTQs转换为与目标视觉任务维度匹配的视觉对齐查询（VAQs），利用MSE损失和对比损失实现与VFMs特征的对齐；
2. 视觉中心协调：提出令牌网关掩码（TGM）限制不同MTQ组间的信息流动，解决多VFMs带来的表征冲突；
3. 实验验证：基于LLaVA架构，以Vicuna-1.5-7B、Qwen2-7B为骨干模型，CLIP、SigLIP为视觉编码器，在通用、区域级、场景级多类基准测试中验证了VaCo的有效性，性能显著优于LLaVA-1.5、ROSS、Cambrian-1等现有模型。

二、创新点

1. 强调视觉监督在MLLMs中的关键作用，提出基于查询的判别性对齐目标，相比生成式目标更适合多VFMs整合，有效保留感知线索；
2. 设计可学习的模块化任务查询（M