13、PruX：优化图 500 基准中并行 BFS 通信的利器

PruX：优化图 500 基准中并行 BFS 通信的利器

1. 引言

在当今数据爆炸的时代，图抽象在社交互动数据、电子邮件和电话网络通信数据、网站链接相关数据等领域发挥着重要作用。我们使用图来描述实体之间的关系，并通过相关算法处理这些数据。随着数据量的不断增长，分布式计算的概念应运而生。分布式图计算的关键特征是引入了额外的机器间通信，而这种通信开销往往远高于计算开销。

并行广度优先搜索（BFS）是一种常见的分布式图遍历算法，涉及存储、计算、通信和同步等多个方面。如何平衡这些成本是一个值得探索的问题。目前已经有一系列针对并行 BFS 的优化方法，主要分为底层优化和上层优化。底层优化包括多线程和图存储等，多线程通过充分利用计算机的计算资源来加速算法执行，图存储则侧重于平衡存储负载、计算负载并减少机器间通信开销。上层优化包括 BFS 方向优化和消息压缩等，方向优化通过减少机器间通信次数来加速算法执行，消息压缩则通过压缩通信消息来降低通信开销。

2010 年，国际 Graph 500 组织提出了新的基准，用于根据超级计算机在数据密集型应用中的性能对其进行排名，而 BFS 是最具代表性的基准。由于 Graph 500 的图存储特性，导致了大量的机器间通信，这是一个挑战。本文提出的 PruX 方法旨在解决这个问题，并在具有 10 亿条边的大规模稀疏图上评估其性能。

2. 相关工作

2.1 并行广度优先搜索

Graph 500 的并行 BFS 算法是串行 BFS 算法的直接扩展。它实现了基于 MPI 的通信库 AML，每个进程元素运行相同的代码，并通过进程间通信来控制程序。整个图 G 被划分为多个子图 G′，并分配给不同的进程