15、并行编程模型中的并行层次解析

并行编程模型中的并行层次解析

在并行编程领域，理解不同的并行层次对于充分发挥多核处理器的性能至关重要。本文将深入探讨并行编程中的几种主要并行层次，包括指令级并行、数据并行、循环并行和函数并行，并介绍它们在不同编程模型中的应用。

1. 并行编程基础

在并行编程中，将一个顺序应用算法进行并行化通常需要经过几个典型步骤：
1. 任务划分 ：将算法拆分成多个任务，并确定任务之间的依赖关系。
2. 任务调度 ：调度器将任务分配给各个进程。
3. 进程映射 ：将进程映射到物理处理器上。

调度算法的总体目标是为任务找到一个调度方案，定义每个任务的开始时间和执行单元，以满足优先级和容量约束，并优化给定的目标函数，通常是最小化整体完成时间（也称为makespan）。在实际情况中，找到最优调度方案是一个NP完全或NP难问题。

2. 不同粒度的任务与调度方法

程序中的计算在不同层次上提供了并行执行的机会，包括指令级、语句级、循环级和函数级。不同层次会产生不同粒度的任务：
- 细粒度任务 ：考虑指令或语句级时，将少量指令或语句组合成一个任务，形成细粒度任务。
- 中粒度任务 ：在循环级，一次循环迭代通常由多个语句组成，因此循环级的任务通常是中粒度的。
- 粗粒度任务 ：考虑函数级时，用于形成任务的函数包含大量计算，任务为粗粒度。

不同粒度的任务需要不同的调度