图注意力网络(Graph Attention Network, GAT) 模型解读与代码实现(tensorflow2.0)

前面的文章，我们讲解了图神经网络三剑客GCN、GraphSAGE、GAT中的两个：

1. 图卷积神经网络(GCN)理解与tensorflow2.0代码实现
2. GraphSAGE 模型解读与tensorflow2.0代码实现

本要讲的是GAT(Graph Attention Network)，它使用 Attention 机制来对邻居节点进行加权求和，和一般的Attention 机制一样，分为计算注意力系数和加权求和两个步骤。

GAT中的 Attention 机制

先来看看每一层的输入与输出：
$$\begin{gathered} \text{ input }:\mathbf{h}=\left\{{\vec{h}}_1,{\vec{h}}_2,\dots ,{\vec{h}}_N\right\},{\vec{h}}_i\in {\mathrm{R}}^F \\ \text{ output }:{\mathbf{h}}^{\prime }=\left\{{\vec{h}}_1^{\prime },{\vec{h}}_2^{\prime },\dots ,{\vec{h}}_N^{\prime }\right\},{\vec{h}}_i^{\prime }\in {\mathrm{R}}^F \end{gathered}$$

1. 计算注意力系数

首先计算顶点 $i$ 与周围邻居节点 $j\in {\mathcal{N}}_i$ 的相似度：
$$e_{ij}=a(\mathbf{W}{\vec{h}}^{}$$