27、并行计算机架构与操作系统深度解析

并行计算机架构与操作系统深度解析

1. 并行计算机架构概述

1.1 SIMD 机器

SIMD（单指令多数据）机器是并行计算机架构的一种类型。其中，Thinking Machines Corporation 构建的 Connection Machine（如 CM - 2）是典型代表。它最多拥有 64k 个处理元素，每个处理元素仅对单个位进行操作，只能执行非常简单的逻辑和数学运算。每 32 个处理单元配备四个内存芯片、一个用于浮点运算的数字处理器以及一个连接到单元互连的路由器。这些单元以 12 维超立方体拓扑结构排列。大量简单处理单元的设计有三个目的：通过将处理器分布在整个内存中消除经典的内存访问瓶颈、探索并行性的可扩展性极限以及近似大脑的计算模型。

MasPar Computer Corporation 的 MasParMP - 2 是另一款 SIMD 机器。它基于一个二维晶格，最多包含 16k 个处理元素，由一台 VAX 计算机驱动，该计算机作为处理元素的前端。每个处理元素在二维网格中与其八个邻居相连形成一个环面。用户进程在前端机器上执行，前端机器将代码的并行部分传递给名为数据并行单元（DPU）的另一个处理器。DPU 负责对单个数据执行操作，并将并行数据的操作分配给构成晶格的处理元素。

1.2 MIMD 机器

MIMD（多指令多数据）机器构成了当今并行计算机的核心。MIMD 设计更为通用，机器由一组执行不同程序的处理器组成，这些程序访问各自的数据集。这种架构取得成功的原因在于，它通常比专用 SIMD 机器更便宜，因为可以使用现成的组件构建。为了详细介绍 MIMD 机器，下面引入 Johnson 对计算机架构的分类。