14、并行求和与前缀扫描算法详解

并行求和与前缀扫描算法详解

1. 引言

在处理数组数据时，计算数组元素的总和以及找出所有元素的部分和是基础的算法问题。其串行解决方案简单易懂，而对应的并行版本——并行求和（Parallel Sum）和前缀扫描（Prefix Scan），同样具有简单易理解的特点。这些算法不仅被广泛分析，还在并行编程领域中作为标志性算法使用。接下来，我们将深入探讨这两种算法。

2. 并行求和

2.1 串行求和代码示例

计算给定数组中所有值的总和是常见需求。以下是一个串行代码示例，用于对整数数组 A 中的 N 个元素进行求和：

int sum = 0;
for (int i = 0; i < N; i++)
  sum += A[i];

执行这段代码后， sum 变量将存储数组 A 中所有元素的总和（假设没有发生溢出或其他异常）。

2.2 并行求和操作特性

并行求和操作可以与任何满足结合律和交换律的组合操作一起使用，例如乘法、求最大值、求最小值以及一些逻辑操作。在串行程序中，操作的交换律并不重要，因为串行执行组合元素的顺序始终保持一致。然而，为了实现并发计算，我们依赖于操作的这一特性，因为并发执行不会对独立计算的顺序施加固定的调度。在后续内容中，我们主要以加法作为组合操作进行讨论，但需要时可以替换为其他合适的操作。

2.3 PRAM 算法

2.3.1 算