2025_NIPS_Cheap and Quick: Efficient Vision-Language Instruction Tuning for Large Language Models

文章核心总结与创新点

一、主要内容

本文聚焦于大型语言模型（LLMs）的视觉-语言（VL）指令微调优化，针对现有方案训练成本高、需大规模预训练、易损害LLMs自然语言处理（NLP）能力等问题，提出了一种高效经济的混合模态适配（MMA）方案，并基于该方案构建了大型视觉-语言指令模型LaVIN。

1. 研究背景：现有LLMs的多模态扩展方案（专家系统、模块化训练）存在缺陷——专家系统计算与参数冗余，模块化训练需额外大规模跨模态预训练、训练成本高且易弱化NLP能力，而GPT-4等模型的训练机制过于昂贵。
2. 核心方案（MMA）：
   • 采用轻量级适配器（MM-Adapter）连接图像编码器与LLM，仅优化少量参数（3~5M），实现端到端联合训练，大幅降低存储与训练开销；
   • 设计路由算法，通过模态令牌动态选择适配路径，支持单模态（文本）与多模态（文本-图像）指令的自动切换，保留LLMs原有NLP能力。
3. 模型构建（LaVIN）：将MMA应用于LLaMA模型，以CLIP-ViT为图像编码器，无需额外大规模VL预训练，可快速适配VL任务。
4. 实验验证：
   • 在ScienceQA数据集上，LaVIN-13B与现有先进模型（如LLaVA）性能相当，训练时间减少71.4%，存储成本降低99.9%；
   • 在COCO图像描述、多模态对话等任务中，LaVIN表现出竞争