5、分布式、并行计算与多核架构解析

分布式、并行计算与多核架构解析

1. 并行计算的分类

并行计算是现代计算科学中的重要领域，能够显著提升计算效率，主要分为以下几种类型：

1.1 单指令多数据（SIMD）

SIMD 并非并发计算，它在给定时刻只有一个进程（指令），但存在同时进行的（并行）计算。这种类型特别适用于常见任务，如调整数字图像的对比度或调整数字音频的音量。大多数现代 CPU 设计都包含 SIMD 指令，以提高多媒体应用的性能。

1.2 多指令单数据（MISD）

MISD 是一种并行计算机，具有以下特点：
- 多个处理单元通过独立的指令流对数据进行独立操作。
- 单一数据流被输入到多个处理单元。
- 这种类型的并行计算机实际例子很少。
- 可能的应用场景包括对单一信号流进行多频率滤波，以及尝试破解单一编码消息的多种密码算法。

1.3 多指令多数据（MIMD）

MIMD 同样是一种并行计算机，其特点如下：
- 每个处理器可能执行不同的指令流。
- 每个处理器可能处理不同的数据流。
- 执行可以是同步或异步的，确定性或非确定性的。
- 目前，它是最常见的并行计算机类型，大多数现代超级计算机都属于这一类别，例如当前的大多数超级计算机、联网的并行计算机集群和“网格”、多处理器 SMP 计算机、多核 PC 等。

2. 并行计算机的类别

并行计算机可以根据硬件支持并行性的级别大致分类，这与基本计算节点之间的距离大致类似。主要类别如下：

2.1 分布式计算

分布式计算