3、高性能计算中进程分组与事件聚合算法研究

高性能计算中进程分组与事件聚合算法研究

在高性能计算领域，随着MPI应用规模的不断扩大，如何高效地对大量进程进行分组以及处理相关事件成为了关键问题。本文将介绍两种重要的算法：广义MPI Comm split的Exascale算法和TBONs中的顺序保留事件聚合算法，并对它们的性能和应用进行深入分析。

广义MPI Comm split的Exascale算法

在大规模计算中，开发者需要可扩展的算法将数百万个进程根据用户定义的数据进行分组。为此，研究人员开发了几种将组表示为双向链表的算法，并通过大规模实验对其性能进行了研究。

算法实现

• Hash和Hash64算法 ：这两种算法通过旋转打包颜色值的字节并屏蔽哈希值的不同区域来获得新的bin编号。Hash算法会重复应用哈希操作，直到初始链完全分裂；Hash64算法则迭代直到链完全分裂或其长度低于64个进程的阈值，此时调用AllgatherGroup完成分裂。如果在链中检测到单一颜色值，两种算法都会停止迭代。在完成哈希迭代后，如果需要对链进行重新排序，则使用Bitonic排序。
• 复杂度分析 ：当只需要进行分裂时，这些算法使用O(1)的内存。由于哈希函数的性质，只能确定概率性的时间上限。但当组数等于进程数时，严格的时间下限为Ω(log₂N)；当组数较少且与进程数无关时，时间下限为Ω(log N)。

实验结果

研究人员在Lawrence Livermore国家实验室的两个集群上对算法进行了测试，分别是具有128K核心的IBM BlueGene/P系统Da