mpi间的差异？为什么在openmpi编译的程序出现内存溢出？

OpenMPI 和 MPICH 是两种广泛使用的 MPI（Message Passing Interface）实现，它们的功能大致相同，但在设计目标、实现细节和性能上有所差异，这可能会导致你的程序在不同的 MPI 实现中表现不同。以下是它们的主要区别：

1. 设计目标

• OpenMPI:

  • 旨在提供一个高度模块化的体系结构，允许用户根据需求进行扩展和定制。它结合了多个项目的工作成果，支持更多的通信网络和硬件架构。
  • 模块化和插件系统让它在灵活性上非常出色，但这种灵活性有时可能导致更多的资源开销。

• MPICH:

  • MPICH 以简洁、快速、稳定著称，主要关注高性能计算 (HPC) 环境中的高效通信。
  • 它的设计目标是提供一个较为轻量且稳定的实现，通常可以避免额外的资源消耗。

2. 内存管理

• OpenMPI:

  • OpenMPI 的模块化架构可能在某些情况下导致额外的内存开销，尤其是在使用不同的通信模块（如 TCP、Infiniband）时。它也会根据所选的网络层和通信层引入不同的内存管理方式，这在某些情况下可能导致内存使用超过预期。
  • OpenMPI 可能默认启用一些进程间通信的缓冲和优化（如注册内存缓冲区），这些会占用额外的内存。

• MPICH:

  • MPICH 通常采取更加保守的内存管理方式，它使用更少的缓冲和资源，在特定的系统配置下可能更适合内存紧张的应用场景。
  • 如果你的程序在 MPICH 上表现正常，说明 MPICH 可能没有使用某些会占用大量内存的特性或优化。

3. 通信模块

• OpenMPI 的通信模块非常多样，支持多种网络通信接口（如 TCP、Infiniband、RoCE）。根据所选择的模块，它可能会在通信时使用额外的内存池或数据结构。

• MPICH 在设计上通常不使用太复杂的通信抽象层，因此它的内存管理和通信资源消耗更加可控。

4. 默认配置

• OpenMPI 和 MPICH 在默认配置上也有差异。OpenMPI 可能默认开启一些内存缓存和优化选项，而 MPICH 则倾向于采用更为保守的内存使用策略。这也可能是导致你程序内存超出的原因。

可能的原因和解决方案

你的程序在 OpenMPI 上内存超出的原因可能有以下几种：

1. 内存缓存问题：OpenMPI 可能会缓存较多的数据以优化通信性能，导致内存使用量超过预期。
2. 内存管理配置：OpenMPI 的某些默认配置（如 btl_tcp_sndbuf 等参数）可能会导致较高的内存使用。
3. 模块选择：OpenMPI 的模块化系统可能使用了不同的通信模块，某些模块的内存开销较大。

解决方案：

1. 调整 OpenMPI 的参数：

   • 你可以尝试减少 OpenMPI 的内存使用。例如，可以通过调整 mpirun 的启动参数，或者在配置文件中设置 btl 或 pml 相关的参数，限制内存缓存。
   • 例如，你可以通过限制 TCP 缓冲区大小来减少内存使用：

     mpirun --mca btl_tcp_sndbuf 65536 --mca btl_tcp_rcvbuf 65536 ...
     

2. 检查模块选择：你可以确保 OpenMPI 使用的是适合你系统的通信模块（如使用 TCP 而非 Infiniband，如果你的系统没有高性能网络支持）。

3. 升级或切换到 MPICH：如果 MPICH 的表现符合你的需求，并且内存使用更加合理，你可以考虑在你的系统上使用 MPICH。

不同 MPI 实现的行为差异可能非常依赖于具体的系统配置和应用程序，建议在相同的硬件和配置环境下进行更深入的性能和内存调试，找出最适合你项目的 MPI 实现。