15、并行处理器与并行计算全解析

并行处理器与并行计算全解析

1. 并行处理器基础

1.1 并行处理器的诞生

传统计算机通常由算术逻辑单元（ALU）、主存储单元（MU）、输入/输出单元（I/O）和控制单元（CU）这四大组件构成，这种每次处理一个字或字对的计算机被称为单处理器。为提升计算机性能，过去半个世纪里，我们不断改进设备技术以缩短开关（门延迟）时间，从继电器的200 - 300 ms 提升到如今亚纳秒级的超大规模集成电路（VLSI）。然而，当计算机设备的开关速度接近极限时，进一步显著提升性能的方法更倾向于增加可同时处理的字或字对数量。例如，在单处理器中，我们可以用一个ALU对N组数据进行N次加法运算；而在并行处理器中，我们可以设计一个包含N个ALU的计算机系统，一次性完成所有N组数据的加法运算。概念上，这样的计算机系统仍由上述四大组件构成，只不过有N个ALU。在单个CU控制下拥有多个ALU的组织形式就被称为并行处理器。为使并行处理器更高效且具成本效益，通常还需要第五个主要组件——互连网络，以促进处理器间和处理器与内存间的通信。此外，每个ALU不仅需要自己的寄存器，还需要网络接口，这种扩展后的ALU被称为处理元素（PE）。

1.2 计算机系统的分类

1.2.1 Flynn分类法

Flynn根据指令流和数据流的多样性将计算机系统分为四类：
1. 单指令流单数据流（SISD） ：传统的字序架构，包括流水线计算机（通常带有并行ALU）。
2. 单指令流多数据流（SIMD） ：多ALU类型的架构，如并行/阵列处理器，ALU可以是位串行或位并行的。
3.