MoE-Inference-Bench: Performance Evaluation of Mixture of Expert Large Language and Vision Models

MoE-Inference-Bench相关总结与翻译

一、文章主要内容

本文聚焦混合专家（MoE）大语言模型与视觉语言模型的推理性能评估，提出了全面的基准测试套件MoE-Inference-Bench，旨在解决MoE模型推理时面临的专家负载不均衡、路由计算开销大等挑战，为MoE模型高效部署提供关键参考。

1. 研究背景与问题

MoE模型通过使用多个专业子网络，仅激活部分专家处理输入，在实现大规模参数规模的同时保持计算效率，已广泛应用于文本生成、检索增强生成等场景。但在推理阶段，MoE模型存在专家负载不均衡、分布式环境下通信开销大、硬件利用率低等问题，亟需系统评估硬件加速技术以优化推理性能。

2. 实验设计

• 模型选择：涵盖Mixtral、DeepSeek、Qwen、Phi、OLMoE等系列的MoE模型，参数规模从20亿到70亿不等，包括纯语言模型（LLM）和视觉语言模型（VLM）。
• 硬件与框架：主要在Nvidia H100 GPU上基于vLLM框架部署，部分实验涉及Cerebras云推理CS-3模型副本。
• 参数设置：输入输出长度设为128、256、512、1024、2048 tokens，批处理大小设为1、16、32、64，同时探索FFN维度、专家数量、活跃专家比例等关键超参数。
• 性能指标：采用