39、高性能计算中MPI通信的优化与实现

高性能计算中MPI通信的优化与实现

在高性能计算领域，MPI（Message Passing Interface）通信起着至关重要的作用。随着计算系统的不断发展，如何提高MPI通信的性能成为了研究的热点。本文将介绍三个不同方面的研究，分别是跨站点MPI通信带宽的改进、SCC - MPICH库的性能调优以及MPI - 3单边通信语义在Infiniband上的设计与实现。

跨站点MPI通信带宽的改进

在复杂的网格基础设施如Grid’5000中，跨站点的MPI通信带宽往往达不到预期。研究人员通过实验发现，在不使用MPI的情况下，并行使用多个TCP连接可以显著提高跨站点光纤连接的带宽。当使用4或8个并行连接时，带宽接近1 Gbps。

然而，使用NetPIPE进行MPI点对点基准测试时，峰值带宽仅约为70 Mbps，远低于TCP基准测试的结果。为了提高低带宽问题，研究人员提出了一种改进的MPI点对点通信方法，即并行传输同一消息的不同片段。

研究人员尝试了两种方法：
1. 使用OpenMP线程 ：每个线程负责通过MPI点对点调用提交消息的不同片段。但由于MPI库中点对点调用的内部序列化，导致不同通信线程无法真正并行化，这种多线程实现没有优势。
2. 使用MPI进程 ：在每个节点上启动固定数量的额外MPI进程。点对点通信分为分散阶段和收集阶段，每个阶段通过一系列非阻塞的发送和接收操作来实现。

实验结果表明，对于大于200 KB的消息，使用额外进程的方法显著提高了带宽。例如，对于10 MB的消息，原始MPI点对点实现的带宽约为80 Mbps，而使用16个额外进程