MPI 集体通信（collective communication）

1、MPI调用接口

（1）广播MPI_BCAST

（2）散发MPI_SCATTER

（3）收集MPI_GATHER

（4）归约MI_REDUCE

MPI_REDUCE将组内每个进程输入缓冲区中的数据按给定的操作op进行运算，并将其结果返回到序列号为root的进程的输出缓冲区中。

（5）MPI_ALLREDUCE

MPI_Allreduce 与 MPI_Reduce 相同，不同之处在于它不需要根进程 ID（因为结果分配给所有进程）。 

MPI_Allreduce 等效于先执行 MPI_Reduce，然后执行 MPI_Bcast。 

2. 例子

（1）利用MPI_Scatter和MPI_Gather计算0, 1, 2, ..., 99的平均值

思路：

1. 在根进程（进程0）上生成一个数组0, 1, 2, ..., 99。
2. 把所有数字用MPI_Scatter分发给4进程，每个进程得到25个数字。
3. 每个进程计算它们各自得到的数字的平均数。
4. 根进程用MPI_Gather收集各进程的平均数，然后计算这4个平均数的平均数，得出最后结果。

// Program that computes the average of an array of elements in parallel using
// MPI_Scatter and MPI_Gather
//
#include <stdio.h>
#include <