MoE-LLaVA: Mixture of Experts for Large Vision-Language Models

最新推荐文章于 2025-03-12 20:47:17 发布

UnknownBody

最新推荐文章于 2025-03-12 20:47:17 发布

阅读量806

点赞数

CC 4.0 BY-SA版权

文章标签：语言模型人工智能

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/136056524

LLM 日更专栏收录该内容

828 篇文章

已下架不支持订阅

本文介绍了MoE-LLaVA，一种针对大型视觉语言模型（LVLM）的稀疏架构。通过MoE训练策略，能够在不增加计算成本的情况下，构建参数量巨大但计算效率高的模型，解决多模态学习和模型稀疏性导致的性能问题。MoE LLaVA框架在部署时仅激活部分专家，减少幻觉并提高视觉理解能力。实验显示，尽管MoE LLaVA只有30亿个稀疏激活参数，其性能与更大规模的LVLM相当，甚至在某些任务上超越。该工作旨在为高效、有效的多模态学习系统研究建立基础。

本文是LLM系列文章，针对《MoE-LLaVA: Mixture of Experts for Large Vision-Language Models》的翻译。

摘要

对于大型视觉语言模型（LVLM），缩放模型可以有效地提高性能。然而，扩展模型参数显著增加了训练和推理成本，因为计算中的每个token都激活了所有模型参数。在这项工作中，我们提出了一种新的LVLMs训练策略MoEtuning，它可以构建一个参数数量惊人但计算成本不变的稀疏模型，并有效地解决了通常与多模态学习和模型稀疏性相关的性能下降问题。此外，我们提出了MoE LLaVA框架，这是一种基于MoE的稀疏LVLM架构。该框架在部署过程中通过路由器唯一地只激活前k名专家，使其余专家处于非活动状态。我们广泛的实验强调了MoE LLaVA在视觉理解方面的卓越能力及其减少模型输出中幻觉的潜力。值得注意的是，MoE LLaVA只有30亿个稀疏激活的参数，在各种视觉理解数据集上表现出与LLaVA-1.5-7B相当的性能，甚至在对象幻觉基准方面超过了LLaVA-1.0-13B。通过MoE LLaVA，我们的目标是建立稀疏LVLMs的基线，并为未来开发更高效、更有效的多模态学习系统的研究提供有价值的见解。代码发布于https://github.com/PKUYuanGroup/MoE-LLaVA。