14、并行计算：硬件架构与编程模型深度解析

并行计算：硬件架构与编程模型深度解析

在科学计算领域，高性能代码的并行性通常由大型并行计算机提供，这些计算机也被称为超级计算机或高性能计算机。接下来，我们将深入探讨硬件并行性的实例、并行计算机的相关列表，以及并行编程模型的相关内容。

硬件并行性实例

以英特尔至强服务器处理器（Cascade Lake）2019为例，其缓存架构的相关特性如下表所示：
| 特性 | L1 | L2 | L3 |
| — | — | — | — |
| 大小 | 32 KB指令，32 KB数据 | 1 MB/核心 | 1.375 MB/核心 |
| 关联性 | 8路指令，11路数据 | 16路 | 16路 |
| 访问延迟 | 4 - 5周期 | 14周期 | 50 - 70周期 |
| 替换策略 | 写回 | 写回 | 写回 |

Top500列表

Top500列表于1993年推出，旨在收集高性能计算机的统计数据。该列表每年6月和11月会结合两个国际超级计算会议进行更新，分别是德国的ISC高性能会议和美国的SC国际高性能、网络、存储和分析会议。列表中的计算机系统根据其在LINPACK基准测试中的性能进行排名，该基准测试使用分解方法求解密集线性方程组。特别是HPL（高性能Linpack）基准测试，用于在分布式内存计算机上使用MPI（消息传递接口）以双精度（64位）算术求解随机密集线性系统。

Top500列表提供了关于500台最强大计算机系统的详细信息，包括LINPACK性能、峰值性能、核心数量和类型、内存系统、功耗、互连网络和操作系统等。此外，还提供了供应商份额、国家份额、互连份额或操作系统份额的统计数