6、并行计算：原理、策略与性能评估

并行计算：原理、策略与性能评估

1. 并行计算的硬件模型

在探讨并行计算的工作原理之前，我们先了解一下现代硬件的简化模型。在之前的硬件讨论中，我们展示了一个简化的内存层次结构模型，主要涉及动态随机存取存储器（DRAM）或主内存。在组合模型中，我们也展示了缓存，但未详细说明其组成和工作原理。

现代计算硬件通常采用异构并行架构，如图 1 所示，它由通过网络连接的两个节点组成。每个节点包含一个多核 CPU，集成了离散的 GPU 和一定的内存（DRAM）。这种架构模型有助于我们识别可用的硬件组件，从而为应用程序和硬件选择合适的并行策略。

graph LR
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px
    classDef os fill:#FFF6CC,stroke:#FFBC52,stroke-width:2px
    classDef core fill:#FFEBEB,stroke:#E68994,stroke-width:2px

    subgraph Node1
        style Node1 fill:#ffffff,stroke:#000000,stroke-width:1px
        CPU1(Core):::core
        CPU2(Core):::core
        GPU1(GPU)
        DRAM1(DRAM)
    end

    subgraph Node2
        style Node2 fill:#ffffff,stroke:#000000,st