将Transformer网络推广到图结构

 人工智能咨询培训老师叶梓 转载标明出处

 关注视频号随时了解前沿论文：

传统的Transformer网络设计用于处理完全连接的图，这在NLP中是可行的，因为句子中的每个词都可以与序列中的其他词相关联。然而，这种架构没有利用图的连接性，当图拓扑结构重要且未编码到节点特征中时，性能可能会很差。由南洋理工大学的研究者们提出了一种新的图Transformer网络架构，旨在解决传统Transformer在图数据上的应用问题。

新的图Transformer架构，具有以下四个新特性：

1. 邻域连接性：注意力机制是基于图中每个节点的邻域连接性的函数。
2. 拉普拉斯特征向量：位置编码由拉普拉斯特征向量表示，这自然地推广了NLP中常用的正弦位置编码。
3. 批量归一化：用批量归一化层替代层归一化，这有助于加快训练速度并提高泛化性能。
4. 边缘特征表示：架构扩展到边缘特征表示，这对于化学（键类型）或链接预测（知识图谱中的实体关系）等任务至关重要。

方法

图Transformer架构主要考虑了两个关键方面：稀疏性和位置编码，以期在图数据集上实现最佳的学习效果。

图的稀疏性

在自然语言处理（NLP）中，Transformer网络将句子视为一个完全连接的图。这种设计选择有两个原因：

1. 词间交互的稀疏性&#