2、并行计算：原理、架构与应用

并行计算：原理、架构与应用

1. 并行性的利用

并行性在我们的社会和自然界中无处不在。例如，汽车工厂里众多工人协同工作（并行作业）来生产汽车；大学可能有数百名教职员工同时开展教学和研究活动；学生在听讲座时，可能同时在思考如何度过一个愉快的周末派对。这些都是存在多个活动（工作或思考）并行进行的实例。

在工厂的生产线中，利用众多工人实现并行性的目的是提高生产率或产量。影响这些并行过程产出的有两个重要因素：
- 每个参与的人都必须同时进行有意义的工作，这样才能通过增加工人数量在更短时间内完成整个任务。
- 所有工人之间必须有适当且高效的协调。缺乏适当的协调，整个工厂将陷入混乱。而过度或低效的协调，也无法实现生产线的高效率。

并行计算在解决大规模科学和工程问题时也具有上述类似的特点。在科学计算中利用并行性的基本原理是让计算机同时执行多个操作，从而提高计算机的吞吐量。

传统的顺序计算机只有一个中央处理器（CPU），它按顺序处理基本的数值运算，即一次执行一个操作。对于大规模科学问题，涉及的数值计算量非常大，即使是最快的顺序计算机也无法在合理的时间内得出解决方案。基本上有两种方法可以让计算机运行得更快：
- 制造更快的CPU，使每个操作的完成时间更短。
- 在计算机中安装多个CPU，使多个操作能够同时进行。后者被称为并行处理，因为计算机上有多个处理单元（通常称为处理器）并行工作。

由于电线制造的困难和光速的限制，制造更快的单处理器计算机变得越来越困难。相比之下，将多个处理器（不一定是最快的）组合在一起，使整体性能显著提高则相对容易。在过去的十年中，并行计算在硬件和软件方面都取得了显著的进展。然而，要充分发挥并行计算