3、并行计算机架构与内存组织

并行计算机架构与内存组织

在并行计算领域，不同的架构和内存组织方式对计算机性能和编程方式有着深远的影响。本文将深入探讨并行计算机的架构分类、内存组织形式以及降低内存访问时间的方法。

1. 并行计算机架构分类

并行计算机架构主要分为单指令多数据（SIMD）和多指令多数据（MIMD）两种类型。
- SIMD架构 ：对于具有显著数据并行度的应用，SIMD方法非常高效。例如多媒体应用或计算机图形算法，用于生成计算机生成环境的逼真三维视图。SIMD计算机的优点是易于编程，因为只有一个程序流程，并且同步执行不需要在程序级别进行同步。然而，同步执行也是一种限制，例如条件语句 if (b==0) c=a; else c = a/b; 必须分两步执行。
- MIMD架构 ：有多个处理元素，每个处理元素都有独立的指令和数据访问权限，可以访问（共享或分布式）程序和数据内存。处理元素彼此异步工作。多核处理器或集群系统是MIMD模型的示例。MIMD计算机比SIMD计算机更灵活，因为每个处理元素可以执行自己的程序流程。

2. 并行计算机的内存组织

几乎所有通用并行计算机都基于MIMD模型。根据内存组织方式，MIMD计算机可以进一步分类。
- 物理内存组织 ：可分为具有物理共享内存的计算机（也称为多处理器）和具有物理分布式内存的计算机（也称为多计算机）。此外，还有许多混合组织，例如在物理分布式内存之上提供虚拟共享内存。
- 程序员视角 ：可以区分具有分布式地址空间的计