31、并行排序算法的深入解析与实践

并行排序算法的深入解析与实践

1. 并行多路归并排序概述

并行多路归并排序是一种外部内存排序算法，也是高效并行排序算法的理想选择。在共享内存环境下，其实现步骤如下：
- 数据分割 ：将输入数组 s 分割成 p 个大小相等的部分，尽量将处理元素（PE）分配到存储该数据块的同一 NUMA 节点的 RAM 上。
- 局部排序 ：每个 PE 对分配给自己的数据进行局部排序，此过程时间复杂度为 $O(\frac{n}{p} \log \frac{n}{p})$。
- 并行合并 ：借鉴并行二进制（两路）归并排序的分割思想，将 p 个序列各自分割成 p 个部分，使得第一部分的所有元素小于第二部分的所有元素，依此类推。然后分别对各部分的并集进行排序，得到最终的有序输出。

以下是共享内存多路归并排序的 SPMD 伪代码：

Function smmSort(s : Sequence of Element) : Sequence of Element
    sort(s);
    barrier
    // sort locally then synchronize globally
    x:=multiSequenceSelect(⟨s@1,...,s@p⟩,
        ⌊iproc ∑i |s@i| / p⌋);
    barrier
    // fi