LocMoE: A Low-overhead MoE for Large Language Model Training

本文是LLM系列文章，针对《LocMoE: A Low-overhead MoE for Large Language Model Training》的翻译。

摘要

专家混合模型（MoE）是一种广泛应用于大型语言模型（LLM）的分布式集成学习方法，由于其能够有效地稀疏和扩展模型而备受青睐。然而，由于专家容量大，MoE的性能受到负载不平衡和All To All通信的高延迟以及相对冗余的计算的限制。负载不平衡可能是由于现有的路由策略一贯倾向于选择某些专家造成的。All To All过程中频繁的节点间通信也显著延长了训练时间。为了缓解上述性能问题，我们提出了一种新的路由策略，通过将部分节点间通信转换为节点内通信，将负载平衡和局部性相结合。值得注意的是，我们阐明了专家能力有一个最小阈值，通过专家的选通权重和分配的token之间的最大角度偏差来计算。我们将这些修改移植到基于多级路由的MindSpore框架的PanGu∑模型上，并在Ascend集群上进行实验。实验结果表明，与哈希路由器和交换路由器等经典路由器相比，所提出的LocMoE将每个epoch的训练时间减少了12.68%至22.24%，而不影响模型的准确性。

1 引言

2 相关工作

3 方法