【HNU分布式与云计算系统】MPI实现矩阵乘矩阵运算

MPI实现矩阵乘矩阵运算

实验环境

操作系统：Ubuntu 20.04

编程语言：C++

实验原理

什么是MPI

MPI是一个跨语言的通讯协议，用于编写并行计算机。支持点对点和广播。MPI是一个信息传递应用程序接口，包括协议和和语义说明，他们指明其如何在各种实现中发挥其特性。MPI的目标是高性能，大规模性，和可移植性。MPI在今天仍为高性能计算的主要模型。

尽管MPI属于OSI参考模型的第五层或者更高，他的实现可能通过传输层的sockets和Transmission Control Protocol (TCP)覆盖大部分的层。大部分的MPI实现由一些指定惯例集（API）组成，可由C,C++,Fortran,或者有此类库的语言比如C#, Java or Python直接调用。MPI优于老式信息传递库是因为他的可移植性和速度。

MPI并行运算的思想

并行编程模式

对等模式—程序的各个部分地位相同,功能和代码基本一致,只是处理的数据或对象不同；主从模式—程序通信进程之间的一种主从或依赖关系。

点对点通信模式

阻塞—发送完成的数据已经拷贝出发送缓冲区,即发送缓冲区可以重新分配使用,阻塞接受的完成意味着接收数据已经拷贝到接收缓冲区,即接收方已可以使用。非阻塞—在必要的硬件支持下,可以实现计算和通信的重叠。4种通信模式：标准通信模式、缓存通信模式、同步通信模式、就绪通信模式。

组通信

一个特定组内所有进程都参加全局的数据处理和通信操作。

功能：通信—组内数据的传输；同步—所有进程在特定的点上取得一致；计算—对给定的数据完成一定的操作。

类型：1）数据移动：广播（mpi bcast） 收集（mpi gather） 散射（mpi scater）组收集（mpi all gather）全交换（all to all）；2）聚集：规约（mpi reduce）将组内所有的进程输入 缓冲区中的数据按，定操作OP进行运算,并将起始结果返回到root进程的接收缓冲区扫描（mpi scan）要求每一个进程对排在它前面的进程进行规约操作,结果存入自身的输出缓冲区；3࿰