(GNN) Graphormer：Transformers在图表示中的表现真的很差吗？

摘要

Transformer架构已经成为许多领域的主流选择，例如自然语言处理和计算机视觉。然而，与主流的GNN变体相比，它在图级预测的热门排行榜上尚未取得竞争力的表现。因此，如何使Transformer在图表示学习中表现良好仍然是一个谜。在本文中，我们通过提出Graphormer来解决这个谜题，Graphormer基于标准的Transformer架构，可以在广泛的图表示学习任务中取得出色的结果，尤其是在最近的OGB大规模挑战中。我们利用Transformer在图表示学习中的关键见解是有效地将图的结构信息编码到模型中的必要性。为此，我们提出了几种简单但有效的结构编码方法，帮助Graphormer更好地建模图结构数据。此外，我们从数学角度刻画了Graphormer的表达能力，并展示了通过我们的结构编码方法，许多流行的GNN变体可以作为Graphormer的特例。Graphormer的代码和模型将公开发布在https://github.com/Microsoft/Graphormer。

1. 引言

Transformer [49] 被广泛认为是最强大的神经网络架构，用于建模序列数据，如自然语言 [11, 35, 6] 和语音 [17]。基于Transformer的模型变体在计算机视觉 [12, 36] 和编程语言 [19, 63, 44] 中也表现出了优异的性能。然而，尽我们所知，Transfor