[3.0] MPI原理+代码实战

并行世界的沟通语言：MPI 编程指南系列引言

0 前言

笔者目前是北京的一位Ai infra实习生（小卡拉米），上班第一天要求学会儿MPI。资料和学习记录整合成这个专栏，供自己和其他人学习和复习。

本系列文章将从 MPI 的基本概念出发，逐步深入点对点通信、集体通信、高级通信操作，最终引导你掌握复杂的 group 与 communicator 管理技巧。无论你是刚接触 MPI 的新手，还是想要系统梳理知识的进阶开发者，这个系列都能为你带来清晰实用的指导。

首先： 所有的代码和运行结果见我的repo地址，当然喜欢专栏内看代码也是可以的，每个相关的代码我都手敲了一下试试并把结果也po在了代码下方:https://github.com/leoda1/the-notes-of-cuda-programming/tree/main/code/MPI
其次： 整个学习的过程我是用的C++，所以编译代码的指令是mpic++，运行可执行文件用的是mpirun。参考的学习资料是：https://mpitutorial.com/tutorials/

1 更新的节点

在当今高性能计算（HPC）飞速发展的时代，如何高效地实现多进程并行计算，成为程序员、科研人员和工程师们必须掌握的技能。而 MPI（Message Passing Interface，消息传递接口）作为最主流、最广泛使用的并行计算通信标准之一，为我们提供了构建高效分布式应用的强大工具。

在接下来的章节中，我们将依次探讨：

• MPI 的基础结构和核心通信模型
• send / recv 机制的细节与技巧
• 广播、聚集、散播等集体通信操作
• Reduce、Allreduce 等高级协同计算方式
• 通讯器（communicator）的灵活使用与组管理