MoE-LLaVA: Mixture of Experts for Large Vision-Language Models-优快云博客

本文是LLM系列文章，针对《MoE-LLaVA: Mixture of Experts for Large Vision-Language Models》的翻译。

MoE-LLaVA：大型视觉语言模型的专家混合

摘要
1 引言
2 相关工作
3 方法
4 实验
5 结论和未来方向

摘要

对于大型视觉语言模型（LVLM），缩放模型可以有效地提高性能。然而，扩展模型参数显著增加了训练和推理成本，因为计算中的每个token都激活了所有模型参数。在这项工作中，我们提出了一种新的LVLMs训练策略MoEtuning，它可以构建一个参数数量惊人但计算成本不变的稀疏模型，并有效地解决了通常与多模态学习和模型稀疏性相关的性能下降问题。此外，我们提出了MoE LLaVA框架，这是一种基于MoE的稀疏LVLM架构。该框架在部署过程中通过路由器唯一地只激活前k名专家，使其余专家处于非活动状态。我们广泛的实验强调了MoE LLaVA在视觉理解方面的卓越能力及其减少模型输出中幻觉的潜力。值得注意的是，MoE LLaVA只有30亿个稀疏激活的参数，在各种视觉理解数据集上表现出与LLaVA-1.5-7B相当的性能，甚至在对象幻觉基准方面超过了LLaVA-1.0-13B。通过MoE LLaVA，我们的目标是建立稀疏LVLMs的基线，并为未来开发更高效、更有效的多模态学习系统的研究提供有价值的见解。代码发布于https://github.com/PKUYuanGroup/MoE-LLaVA。