LocMoE: A Low-overhead MoE for Large Language Model Training

本文是LLM系列文章，针对《LocMoE: A Low-overhead MoE for Large Language Model Training》的翻译。

摘要

专家混合模型（MoE）是一种广泛应用于大型语言模型（LLM）的分布式集成学习方法，由于其能够有效地稀疏和扩展模型而备受青睐。然而，由于专家容量大，MoE的性能受到负载不平衡和All To All通信的高延迟以及相对冗余的计算的限制。负载不平衡可能是由于现有的路由策略一贯倾向于选择某些专家造成的。All To All过程中频繁的节点间通信也显著延长了训练时间。为了缓解上述性能问题，我们提出了一种新的路由策略，通过将部分节点间通信转换为节点内通信，将负载平衡和局部性相结合。值得注意的是，我们阐明了专家能力有一个最小阈值，通过专家的选通权重和分配的token之间的最大角度偏差来计算。我们将这些修改移植到基于多级路由的MindSpore框架的PanGu∑模型上，并在Ascend集群上进行实验。实验结果表明，与哈希路由器和交换路由器等经典路由器相比，所提出的LocMoE将每个epoch的训练时间减少了12.68%至22.24%，而不影响模型的准确性。

1 引言

2 相关工作

3 方法

4 实验结果和分析

5 结论

在本文中，我们提出了一种名为LocMoE的低开销结构，以缓解现有MoE的性能瓶颈。修改主要围绕token分配机制进行。为了在负载平衡的前提下促进局部性计算，提出了局部性损失，它可以被描述为token分配的分布差异。我们还为专家能力的下限提供了理论证明，以通过训练更少的token来实现相同的效果。为了满足正交