28、并行计算：多进程与MPI的应用与比较

并行计算：多进程与MPI的应用与比较

线程并行的问题

在理想情况下，当处理器数量P每增加一倍，强扩展性应该带来2倍的加速比。然而，实际结果却显示，增加线程反而导致了性能下降。这是因为每次添加线程时，CPU的负载会增加，单个处理器需要花费更多时间来决定哪个线程可以执行。即使只有一个工作线程，主线程仍然存在，这使得P = 1的情况比非并行情况慢约2.5倍。因此，对于CPU密集型任务，添加更多线程并不能增加并行性，反而会降低性能。

多进程并行

多进程是Python将并行任务调度责任交给操作系统的一种方式。现代操作系统擅长多任务处理，允许所有进程的总和大大超过计算机的资源限制。在单CPU系统中，一次只能有一个进程物理执行，多任务操作系统会暂停当前进程并切换到另一个进程，频繁且适时的上下文切换会给人多个进程同时运行的错觉。当有多个处理器可用时，多任务可以轻松地将进程分布在它们之间，从而实现一定程度的并行性。

Python通过标准库的 multiprocessing 模块实现多进程。该模块提供了类似线程的接口来处理进程，但有两个主要区别：
1. 多进程不能直接从交互式解释器中使用，主模块（ __main__ ）必须可被派生进程导入。
2. multiprocessing 模块提供了 Pool 类，无需自己编写。

Pool 类的 map() 方法类似于内置的 map() 函数，它接受一个函数和一个参数可迭代对象，并返回一个与