5、分布式、并行计算与多核架构解析

分布式、并行计算与多核架构解析

1. 并行计算的分类与特点

1.1 并行计算的基本类型

并行计算主要有以下几种类型：
- 单指令多数据（SIMD） ：并非并发操作，在给定时刻只有单个进程（指令），但存在同时进行的并行计算。它特别适用于常见任务，如调整数字图像的对比度或数字音频的音量。大多数现代 CPU 设计都包含 SIMD 指令以提高多媒体使用性能。
- 多指令单数据（MISD） ：
- 属于并行计算机的一种类型。
- 多个指令：每个处理单元通过独立的指令流对数据进行独立操作。
- 单数据：单一数据流输入到多个处理单元。
- 实际中这类并行计算机的例子很少。
- 可能的应用场景包括对单一信号流进行多频率滤波，以及尝试破解单一编码消息的多种加密算法。
- 多指令多数据（MIMD） ：
- 是并行计算机的一种类型。
- 多个指令：每个处理器可以执行不同的指令流。
- 多个数据：每个处理器可以处理不同的数据流。
- 执行可以是同步或异步的，确定性或非确定性的。
- 目前是最常见的并行计算机类型，大多数现代超级计算机都属于这一类别，例如当前的大多数超级计算机、联网的并行计算机集群和“网格”、多处理器 SMP 计算机、多核 PC 等。

1.2 并行计算机的分类

并行计算机可以根据硬件支持并行性的级别大致分类，这与基本计算节点之间的距离大致类似。具体分类如下：
|分类|特点|
| ---- | ----