【图神经网络】图注意力机制GAT以及Pytorch实现

1 原理介绍

  GAT(Graph Attention Networks)图注意力网络的原理相对好理解，相比较GCN而言就是对汇聚到中心节点的邻居节点学习了一个权重，使其能够按照权重进行邻域特征的加和。下面列出的参考文献都给出了详细的原理介绍，这里只阐述重点。

1.1 计算注意力系数

$${\alpha }_{i,j}=\frac{\exp \left(\alpha \left(a^T\left[W{x}_i\Vert W{x}_j\right]\right)\right)}{{\sum }_{k\in N(i)\cup i}\exp \left(\alpha \left(a^T\left[W{x}_i\Vert W{x}_j\right]\right)\right)}$$
  其中的$\alpha$ 代表注意力分数，$W$代表可学习参数，$x_j$代表邻居节点的特征向量。
  解读一下这个公式：首先，一个共享参数$W$ 的线性映射对于顶点的特征进行了增