14、并行计算：硬件架构、编程模型与实践探索

并行计算：硬件架构、编程模型与实践探索

1. 硬件并行性示例

在硬件并行性方面，以英特尔至强服务器处理器（Cascade Lake）2019 年的缓存架构为例，其各级缓存具有不同的特性，具体如下表所示：
| 特性 | L1 | L2 | L3 |
| — | — | — | — |
| 大小 | 32 KB 指令
32 KB 数据 | 1 MB/core | 1.375 MB/core |
| 关联性 | 8 路指令
11 路数据 | 16 路 | 16 路 |
| 访问延迟 | 4 - 5 周期 | 14 周期 | 50 - 70 周期 |
| 替换策略 | 写回 | 写回 | 写回 |

2. Top500 列表

高性能科学计算代码的并行性通常由大型并行计算机（超级计算机或高性能计算机）提供。Top500 列表自 1993 年推出，每年 6 月和 11 月会结合国际超级计算会议进行更新。该列表根据计算机系统在 LINPACK 基准测试中的性能对 500 台最强大的计算机系统进行排名。

LINPACK 基准测试使用分解方法求解密集线性方程组，其中 HPL（高性能 Linpack）基准测试用于在分布式内存计算机上使用 MPI（消息传递接口）以双精度（64 位）算术求解随机密集线性系统。

Top500 列表提供了计算机系统的详细信息，包括 LINPACK 性能、峰值性能、核心数量和类型、内存系统、功耗、互连网络和操作系统等。此外，Top500 网页还维护了两个替代列表：
- HPCG 列表：使用高性能共轭梯度（HPCG）基准测试对系统进行排名。