MoE-LLaVA: Mixture of Experts for Large Vision-Language Models

发表时间：6 Jul 2024

论文链接：https://arxiv.org/pdf/2401.15947

作者单位：Peking University

Motivation：最近的进展表明，扩展大型视觉语言模型 (LVLM) 有效地提高了下游任务的性能。然而，现有的缩放方法使所有模型参数在计算中的每个标记都处于活动状态，这带来了大量的训练和推理成本。然而，直接应用MoE来训练稀疏的LVLM是具有挑战性的。我们观察到，同时将LLM转换为LVLM和稀疏化模型会导致显著的性能下降。

解决方法：经过多次尝试，我们发现适当的初始化对于稀疏化 LVLM 至关重要，因此，我们引入了一种简单而有效的三阶段训练策略 MoE-Tuning（也就是说之所以三阶段训练，是为了更好的初始化参数）。在这项工作中，我们提出了一种简单而有效的 LVLM 训练策略 MoE-Tuning。该策略创新性地解决了多模态稀疏学习中性能下降的常见问题，从而构建了一个具有大量参数但计算成本恒定的稀疏模型。 此外，我们提出了MoE-LLAVA，这是一种基于moe的稀疏LVLM架构，在部署过程中，它只通过路由器唯一地激活前k个专家，使剩余的专家inactive，保持silence。

MoE-Tuning 包括三个阶段：

1. 在第一阶段，只训练 MLP。

2. 在第二阶段，除了视觉编码器 (VE) 之外，所有参数都经过训练。

3. 第三阶段，FFN 用于初始化 MoE 中的专家，只训练 MoE 层。对于每个 MoE 层，每个令牌只激活两个专家，而其他专家保持沉默。