Expert Parallelism Load Balancer (EPLB) 使用教程

Expert Parallelism Load Balancer (EPLB) 使用教程

EPLB Expert Parallelism Load Balancer 项目地址: https://gitcode.com/gh_mirrors/ep/EPLB

1. 项目介绍

Expert Parallelism Load Balancer (EPLB) 是一个负载均衡算法，专门用于处理在专家并行（Expert Parallelism）模式下的负载均衡问题。在此模式下，不同的专家（experts）被分配到不同的 GPU 上执行，但由于各专家的工作负载可能不同，因此需要保持不同 GPU 之间的负载均衡。EPLB 通过复制负载较重的专家，并将它们合理分配到各个 GPU 上，以实现负载均衡。

2. 项目快速启动

以下是快速启动 EPLB 的步骤：

首先，确保你已经安装了 Python 和必要的库。然后，可以从以下代码开始：

import torch
import eplb

# 示例权重，代表不同专家的负载
weights = torch.tensor([
    [90, 132, 40, 61, 104, 165, 39, 4, 73, 56, 183, 86],
    [20, 107, 104, 64, 19, 197, 187, 157, 172, 86, 16, 27]
])

# 设置参数
num_replicas = 16  # 总副本数
num_groups = 4     # 专家组数
num_nodes = 2      # 服务器节点数
num_gpus = 8       # GPU 数量

# 调用负载均衡函数
phy2log, log2phy, logcnt = eplb.rebalance_experts(weights, num_replicas, num_groups, num_nodes, num_gpus)

# 输出结果
print(phy2log)

输出结果将显示负载均衡后的专家分配方案。

3. 应用案例和最佳实践

应用案例

假设我们有一个两层的 MoE 模型，每层包含 12 个专家。我们引入了每层 4 个冗余专家，总共有 16 个副本，这些副本被放置在 2 个节点上，每个节点包含 4 个 GPU。

最佳实践

• 负载预测：预测专家的负载是负载均衡的关键。一个常见的方法是使用历史统计数据的前移平均值。
• 层次化负载均衡：当服务器节点的数量能够整除专家组的数量时，使用层次化负载均衡策略。
• 全局负载均衡：在其他情况下，使用全局负载均衡策略，该策略不考虑专家组，将专家副本全局复制。

4. 典型生态项目

EPLB 可以与多种深度学习框架和项目配合使用，例如：

• DeepSeek-V3：一个基于专家并行主义的深度学习模型，EPLB 可以帮助其优化负载均衡。
• PyTorch：EPLB 可以与 PyTorch 框架无缝集成，用于优化并行计算中的负载分配。

以上是 EPLB 的基本使用教程，希望对您有所帮助。

EPLB Expert Parallelism Load Balancer 项目地址: https://gitcode.com/gh_mirrors/ep/EPLB