图形注意力网络

基本信息

作者

Petar Veličković、 Guillem Cucurull、 Arantxa Casanova、 Adriana Romero、 Pietro Liò

论文等级

ICLR
国际表征学习大会（简称：ICLR），是深度学习领域的顶级会议。

摘要

论文提出了图形注意网络（GAT），一种在图形结构数据上运行的新型神经网络架构，利用掩蔽的自我注意层来解决基于图形卷积或其近似的先前方法的缺点。通过堆叠节点能够参与其邻域特征的层，我们能够（隐式）为邻域中的不同节点指定不同的权重，而不需要任何类型的昂贵的矩阵运算（例如倒置）或取决于图形结构前期。通过这种方式，我们同时解决了基于光谱的图形神经网络的几个关键挑战，并使我们的模型易于适用于归纳和偏置问题。
解决问题：the shortcomings of prior methods based on graph convolutions or their approximations.

图形网络的发展及其问题

基础

卷积神经网络（CNN）已成功用于图像分类，语义分割，机器翻译等方面【基础】

问题

许多有趣的任务涉及无法在网格状结构中表示的数据，而是不规则的，例如3D网格，社交网络，电信网络，生物网络或脑连接等。这些数据通常可以以图形的形式表示。

解决办法

（1）光谱方法：受图形结构影响较大，在特定结构上训练的模型不能直接应用于具有不同结构的图。
（2）非光谱方法（论文所用）：引入了基于注意力的体系结构，以执行图形结构化数据的节点分类，使用邻里注意操作来计算环境中不同物体之间的注意力系数。其他相关方法包括局部线性嵌入（LLE）和内存网络（Weston等，2014）。 LLE选择每个数