论文解读｜EuroSys 2023《GPC: 基于编译器的面向图神经网络稀疏计算优化》

EuroSys（European Conference on Computer Systems）是计算机系统领域的国际顶级学术会议，主要关注计算机系统领域的研究与实践，涉及操作系统、分布式系统等领域。自2006年创办以来，EuroSys 接收并发布了许多高质量的研究论文，代表了该领域内最新的研究进展和创新思想，在国际学术界与工业界形成了广泛影响。    

蚂蚁 TuGraph 图学习团队的论文《GPC: 基于编译器的面向图神经网络稀疏计算优化》已被 EuroSys 2023 Poster 接收。

-概述-

在非欧几里得图数据上的图神经网络（GNN）学习最近在许多领域引起了迅速的兴趣。广义稀疏计算对于最大限度地提高GNN学习的性能至关重要，而最近的GNN主要集中在优化与节点、边和额外特征维度相关的粗粒度并行性。然而，有效地实现广义稀疏计算是具有挑战性的。缺乏深入的架构感知设计的广义稀疏计算的性能优化很少被现有的特定领域语言（DSL）所支持，而且因为涉及到大量的试验和错误，很难由专家进行调整。

在这项工作中，我们提出了GPC (General sParse Compiler)，一个新的编译器框架，它扩展了流行的Halide编译器，通过编译器驱动的优化和自动调整，使GNN的广义稀疏计算得到有效加速。为了加速广义稀疏计算，GPC将算法与调度分开，并为现代GPU引入了几种新的稀疏计算优化技术，包括二维共享内存优化、寄存器平铺优化和高效成本驱动的设计空间探索和自动调整。针对高度优化的最先进的稀疏计算内核以及端到端GNN训练和推理效率的广泛评估表明，我们提出的GPC比最先进的稀疏计算内核实现了4.37倍的速度提升，比三个流行的GNN模型GCN、GraphSAGE和GAT的训练和推理速度提升了1.37~2.25倍。

-背景-

图神经网络（GNN）是深度学习中的一个新兴领域，已经应用于广泛的真实世界应用，包括但不限于生物信息学、社会科学、推荐系统和量子化学。使用GNN模型进行图结构表示学习对许多实际的与图相关的应用非常重要，例如节点分类、图同构和扩散模式。与依赖于密集矩阵运算的传统深度学习模型（如DNNs）不同，GNN涉及具有消息感知的传播操作，可以根据其邻居递归地更新每个顶点的特征。在处理真实世界的图数据集时，它们的稀疏性和不规则性对于最近的最先进框架（如TensorFlow、PyTorch和MXNet）构成了性能和设计挑战。

图1. 这是一个在GNN中使用聚合求和的g-SpMM操作示例。左侧是将顶点𝑛1、𝑛2和𝑛3的特征向量聚合到顶点𝑛4上。右侧，我们将图表示为邻接矩阵，以便计算顶点的特征向量作为一个SpMM操作。

通常，GNN的计算模式可以用消息传递原语来描述。例如，DGL引入了广义稀疏计算，具体包括广义采样稠密-稠密矩阵乘法（g-SDDMM）和广义稀疏矩阵-矩阵乘法（g-SpMM&#