13、图注意力网络：从入门到精通

图注意力网络：从入门到精通

1. 引言

在图神经网络（GNN）领域，基于注意力机制的网络近年来备受关注。图注意力网络（GAT）作为其中的代表，为解决图卷积网络（GCN）的一些局限性提供了新的思路。GCN在节点分类任务中，通过结合局部图结构和节点级特征取得了不错的表现。然而，GCN的聚合策略主要依赖于图的结构，这对模型的泛化能力产生了负面影响。常见的解决方法是对所有邻居节点的特征进行平均。而GAT则设计了一种不同的聚合方式。

下面将详细介绍几种先进的图注意力网络：
- GAT
- GAT版本2（GATv2）
- 图变换器（GT）
- GT网络（GTN）

2. 图注意力网络（GAT）

GAT是一种特殊的图网络，它使用掩码自注意力机制来解决GCN的局限性。GAT通过堆叠多个层，使每层的节点能够关注其邻域的特征。这样，GAT可以隐式地为邻域中的不同节点计算各种权重，无需进行详尽的矩阵计算，同时减少了对图结构先验知识的依赖。此外，对学习到的注意力参数进行分析和可视化，有助于提高模型在邻居重要性方面的可解释性。

在深入了解GAT之前，需要熟悉注意力机制，即自注意力和多头注意力（MHA），它们是构建所有GAT的基础。

2.1 GCN与GAT的对比

GCN在节点分类任务中，通过结合节点特征和局部图结构取得了令人满意的性能。然而，GCN基于结构的消息聚合方式使其泛化能力不佳。具体来说，GCN的图卷积操作产生邻居节点特征的归一化和，公式如下：
[
h_i^{(l + 1)} = \text{ReLU} \left( \sum_{j \in \mathca