15、并行与分布式系统：架构、优势与性能分析

并行与分布式系统：架构、优势与性能分析

1. 并行设计与优化

在组件布局和互连方式的选择上，存在多种可能性。设计者可以同时运行 N 个不同版本的设计方案，然后挑选出性能最优的，比如功耗最低的方案。其他的优化目标还包括减少线路间的串扰或降低整体噪声。由于每个备选配置的计算可能需要数小时甚至数天，因此并行运行这些配置能显著缩短设计时间。

2. 并行架构基础概念

并行架构领域有着丰富的研究。这里我们主要探讨对计算机云发展至关重要且未来仍将发挥重要作用的基本概念。

2.1 控制流与数据流处理器架构

• 控制流架构 ：目前占主导地位的处理器架构是由约翰·冯·诺伊曼开创的控制流架构。其处理器控制流的实现方式较为直接，程序计数器决定下一条要加载到指令寄存器并执行的指令。执行过程严格按顺序进行，直到遇到分支指令。
• 数据流架构 ：与之相对的是数据流架构，在这种架构中，操作会在其输入可用时立即执行。尽管如今通用的数据流系统较少，但这种架构在网络路由器、数字信号处理器和其他专用系统中得到了广泛应用。数据流通用处理器不如控制流处理器受欢迎，可能是因为它缺乏局部性、缓存使用效率低以及流水线效率不高。
• 冯·诺伊曼处理器对数据流的模拟 ：冯·诺伊曼处理器可以模拟数据流。例如，1967 年 IBM 开发的托马苏洛算法用于动态指令调度，它使用保留站来保存等待输入的指令，并通过寄存器重命名实现乱序指令执行。一些系统在大型集群的任务调度中应用了数据流模型，其支持最优并行执行的能力毋庸置疑，未来我们有望