8、MPI与Cray向量并行化编程详解

MPI与Cray向量并行化编程详解

1. MPI通信与功能

MPI（Message Passing Interface）是并行计算中常用的消息传递标准，其中 MPI_RECV 调用是阻塞的。在示例程序 matrixMultiply 中，利用其阻塞特性作为扇入有向无环图（DAG）所需的同步设备。

1.1 非阻塞通信

示例程序使用阻塞通信，但在很多情况下，允许处理器继续计算，让通信协处理器或至少后台进程处理通信会更好。非阻塞发送/接收对是 MPI_ISEND 和 MPI_IRECV 。以下是修改后的代码示例：

Fortran代码：

20.5f
integer req(1)
21f
h = 1
22f
do 10 k = 2, r
23f
if( mod(myRank,2*h) .eq. 0 ) then
24f
call MPI_IRECV(recvdMat, Q*Q, MPI_DOUBLE_PRECISION, &
25f
myRank+h, 9, MPI_COMM_WORLD, req(1), ierr)
26f
call matProduct(myMat,recvdMat)
27f
else if( mod(myRank,2*h) .eq. h ) then
28f
call MPI_ISEND(myMat, Q*Q, MPI_DOUBLE_PRECISION, &
29f
myRank-h, 9, MPI_COMM_WORLD, req