16、图注意力网络：原理、训练与应用

图注意力网络：原理、训练与应用

在机器学习领域，图神经网络（GNN）为处理图结构数据提供了强大的工具。与纯基于特征或表格的模型相比，使用GNN模型结合图结构信息能略微提升性能。尽管XGBoost模型在不使用图结构的情况下也展现出了令人印象深刻的结果，但图卷积网络（GCN）模型稍好的性能凸显了GNN在利用图数据中嵌入的关系信息方面的潜力。接下来，我们将聚焦于图注意力网络（GATs）。

1. 训练GAT模型

为了训练GAT模型，我们将应用两种PyG实现（GAT和GATv2）。这两种模型都基于相同的基本思想，即把GCN中的聚合算子替换为注意力机制，以学习模型应最关注哪些消息（节点特征）。
- GATConv ：是第3章中GCN的简单扩展，加入了注意力机制。
- GATv2Conv ：是GATConv的一个变体，解决了原始实现中的一个限制，即注意力机制在单个GNN层上是静态的。在GATv2Conv中，注意力机制在各层之间是动态的。

原始GAT模型在每个训练循环中仅使用单个节点和邻域特征计算一次注意力权重，并且这些权重在所有层中都是静态的。而在GATv2中，注意力权重是在节点特征通过各层转换时计算的，这使得GATv2更具表现力，能够在训练好的模型中强调节点邻域的影响。

以下是四个基线模型的AUC值：
| 模型 | AUC |
| — | — |
| 逻辑回归 | 75.90% |
| XGBoost | 94.17% |
| 多层感知机 | 85.93% |
| GCN | 94.37% |

由于