MPI教程：深入理解Scatter、Gather和Allgather操作-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00518/article/details/148888735

MPI教程：深入理解Scatter、Gather和Allgather操作

mpitutorial 项目地址: https://gitcode.com/gh_mirrors/mpi/mpitutorial

概述

在并行计算领域，MPI（Message Passing Interface）是最常用的通信标准之一。本文将重点讲解MPI中的三个核心集合通信操作：MPI_Scatter、MPI_Gather和MPI_Allgather。这些操作在数据分发和收集场景中扮演着至关重要的角色。

MPI_Scatter详解

基本概念

MPI_Scatter是一种将数据从根进程分发到通信域内所有进程的操作。与广播(MPI_Bcast)不同，MPI_Scatter不是简单地将相同数据发送给所有进程，而是将数组的不同部分分发给不同的进程。

工作原理

想象一个包含N个元素的数组，当使用MPI_Scatter时：

根进程(通常是rank 0)持有完整的数组
数组被均匀分割成多个部分
每个部分按照进程rank顺序分发到对应进程

函数原型

MPI_Scatter(
    void* send_data,       // 发送数据缓冲区(仅在根进程有效)
    int send_count,        // 发送给每个进程的元素数量
    MPI_Datatype send_datatype, // 发送数据类型
    void* recv_data,       // 接收数据缓冲区
    int recv_count,        // 接收的元素数量
    MPI_Datatype recv_datatype, // 接收数据类型
    int root,             // 根进程rank
    MPI_Comm communicator  // 通信域
)

使用场景

MPI_Scatter特别适合数据并行计算场景，比如：

矩阵运算中将矩阵分块处理
大规模数据集的分割处理
任何需要将工作负载均匀分布到多个进程的情况

MPI_Gather详解

基本概念

MPI_Gather是MPI_Scatter的逆操作，它将来自多个进程的数据收集到根进程。这在需要合并计算结果时非常有用。

工作原理

每个进程提供自己的数据块
根进程按照进程rank顺序收集这些数据块
最终在根进程形成一个完整的数组

函数原型

MPI_Gather(
    void* send_data,       // 发送数据缓冲区
    int send_count,        // 发送的元素数量
    MPI_Datatype send_datatype, // 发送数据类型
    void* recv_data,       // 接收数据缓冲区(仅在根进程有效)
    int recv_count,        // 从每个进程接收的元素数量
    MPI_Datatype recv_datatype, // 接收数据类型
    int root,             // 根进程rank
    MPI_Comm communicator  // 通信域
)

注意事项

只有根进程需要提供有效的接收缓冲区
其他进程可以将recv_data设为NULL
recv_count是从每个进程接收的元素数量，不是总数

实践案例：计算数组平均值

让我们通过一个实际例子来理解这些操作的应用。我们将实现一个并行计算数组平均值的程序。

算法步骤

根进程生成随机数数组
使用MPI_Scatter将数组分发给所有进程
每个进程计算自己部分的平均值
使用MPI_Gather将所有部分平均值收集到根进程
根进程计算最终平均值

关键代码片段

// 根进程创建随机数数组
if (world_rank == 0) {
    rand_nums = create_rand_nums(elements_per_proc * world_size);
}

// 分配接收缓冲区
float *sub_rand_nums = malloc(sizeof(float) * elements_per_proc);

// 分发数据
MPI_Scatter(rand_nums, elements_per_proc, MPI_FLOAT, sub_rand_nums,
            elements_per_proc, MPI_FLOAT, 0, MPI_COMM_WORLD);

// 计算局部平均值
float sub_avg = compute_avg(sub_rand_nums, elements_per_proc);

// 收集部分平均值
float *sub_avgs = NULL;
if (world_rank == 0) {
    sub_avgs = malloc(sizeof(float) * world_size);
}
MPI_Gather(&sub_avg, 1, MPI_FLOAT, sub_avgs, 1, MPI_FLOAT, 0,
           MPI_COMM_WORLD);

// 计算最终平均值
if (world_rank == 0) {
    float avg = compute_avg(sub_avgs, world_size);
}

MPI_Allgather详解

基本概念

MPI_Allgather是MPI_Gather的变体，它不仅将数据收集到根进程，而是将数据收集到所有进程。可以将其视为MPI_Gather后接一个MPI_Bcast的组合操作。

工作原理

每个进程提供自己的数据块
所有进程都会收到完整的数据集合
数据按照进程rank顺序排列

函数原型

MPI_Allgather(
    void* send_data,       // 发送数据缓冲区
    int send_count,        // 发送的元素数量
    MPI_Datatype send_datatype, // 发送数据类型
    void* recv_data,       // 接收数据缓冲区
    int recv_count,        // 从每个进程接收的元素数量
    MPI_Datatype recv_datatype, // 接收数据类型
    MPI_Comm communicator  // 通信域
)

修改后的平均值计算程序

我们可以修改之前的平均值计算程序，使用MPI_Allgather让所有进程都能获得最终结果：

// 收集所有部分平均值到所有进程
float *sub_avgs = (float *)malloc(sizeof(float) * world_size);
MPI_Allgather(&sub_avg, 1, MPI_FLOAT, sub_avgs, 1, MPI_FLOAT,
              MPI_COMM_WORLD);

// 所有进程计算最终平均值
float avg = compute_avg(sub_avgs, world_size);