13、PruX：优化图 500 基准中并行 BFS 通信的有效方法

PruX：优化图 500 基准中并行 BFS 通信的有效方法

1. 引言

在当今数据爆炸的时代，图抽象在社交互动数据、电子邮件和电话网络通信数据、网站链接相关数据等领域发挥着重要作用。我们使用图来描述实体之间的关系，并通过相关算法处理这些数据。随着数据量的不断增长，分布式计算的概念应运而生。分布式图计算的关键特点是会带来额外的机器间通信，而这种通信开销往往远高于计算开销。

并行广度优先搜索（BFS）是一种常见的分布式图遍历算法，涉及存储、计算、通信和同步等多个方面。如何平衡这些成本是一个值得探索的问题。目前已经有一系列针对并行 BFS 的优化方法，主要分为底层优化和上层优化。底层优化包括多线程和图存储等，多线程通过充分利用计算机的计算资源来加速算法执行，图存储则侧重于平衡存储负载、计算负载并减少机器间通信开销。上层优化包括 BFS 的方向优化和消息压缩等，方向优化通过减少机器间通信次数来加速算法执行，消息压缩则通过压缩机器间通信消息来降低通信开销。

2010 年，国际 Graph 500 组织提出了新的基准，用于根据超级计算机在数据密集型应用中的性能对其进行排名，而 BFS 是最具代表性的基准。Graph 500 提供了并行 BFS 的原始实现，定义了进程间的通信模式、图分区方法和 BFS 算法的执行方式。然而，Graph 500 的图存储特性导致了大量的机器间通信，这是一个挑战。为此，我们提出了一种有效的方法 PruX 来优化并行 BFS 的通信。

1.1 主要贡献

我们提出的 PruX 方法旨在减少并行 BFS 中的机器间通信，主要贡献如下：
- 通过 PrunX，在具有 10 亿条边的大规模图上，将并行 BFS 原始实现