15、并行计算应用中的算法分析与实践

并行计算应用中的算法分析与实践

1. 并行计算应用的算法分析

并行算法的开发是一个新兴领域，目前用于分析并行算法的术语和技术仍受串行世界的影响。评估算法的传统方法之一是查看其算法复杂度。

算法复杂度是完成一个算法所需操作数量的度量，它是算法的一个属性，衡量了过程中的工作量或操作量。复杂度通常用渐近符号表示，渐近符号用于指定性能的极限边界，它能表明运行时间是随问题规模线性增长，还是以更快的速度增长。常见的渐近符号有：
- 大O（Big O） ：算法性能的最坏情况极限。例如，对于一个大小为N的大数组进行双重嵌套的for循环，其复杂度为O(N²)。
- 大Ω（Big Omega） ：算法的最佳情况性能。
- 大Θ（Big Theta） ：算法的平均情况性能。

传统的算法分析将算法复杂度、计算复杂度和时间复杂度互换使用，但为了在当今的并行计算硬件上评估算法，我们对计算复杂度和时间复杂度的定义进行了调整：
- 计算复杂度（也称为步骤复杂度） ：完成一个算法所需的步骤数。这种复杂度测量与实现方式和用于计算的硬件类型有关，包括可能的并行度。例如，在向量或多核计算机中，一个步骤（周期）可以是四个或更多的浮点运算。
- 时间复杂度 ：考虑了在典型现代计算系统上操作的实际成本，最大的调整是考虑内存加载和数据缓存的成本。

复杂度分析可用于算法比较，但对于应用计算机科学家来说，算法的渐近复杂度有一定局限性，它只能告诉我们算法在规模增大时的极限成本，