【陈工笔记-Transformer】GAMLP图注意力多层感知器中注意力机制的理解

我看到你啦滴

已于 2024-01-26 13:52:00 修改

阅读量1.2k

点赞数 15

分类专栏： Transformer相关技术的理解文章标签：笔记

于 2024-01-26 13:46:44 首次发布

本文链接：https://blog.youkuaiyun.com/qq_41684259/article/details/135828416

版权

基本信息

标题：图注意力多层感知器
链接: Graph Attention Multi-Layer Perceptron | Papers With Code
作者：Wentao Zhang,Ziqi Yin,Zeang Sheng,Yang Li,Wen Ouyang,Xiaosen Li,Yangyu Tao,Zhi Yang,Bin Cui

要点记录

问题：

图神经网络GNN在许多基于图的应用中取得了巨大成功。然而，大规模图的高稀疏性阻碍了它们在工业场景中的应用。虽然针对大规模图提出了一些可扩展的GNN，但它们对每个节点采用固定的邻域，导致GNN模型在训练过程中对实际感知域不敏感。因此在稀疏区域内对节点采用大传播深度时，会面临过平滑问题。具体而言，现有的基于GNN的改进算法，存在特征传播方式缺乏灵活性的问题，无法对不同感受野（RF）下的关联节点进行建模，会产生两种可能的结果：（1）长距离的依赖性由于 RF 过小而不能被充分利用；（2）由于RF过大而引入过平滑的噪声而失去了局部信息。

与先前的基于GNN的方法SIGN相比，SIGN解决了不同跳的信息没有充分利用的问题，它将不同跳的特征做了拼接操作，并将其输入至一个简单的MLP。但是，SIGN的缺点在于它并没有注意到不同节点所需要的传播深度不同的问题。如果跳数K取得非常大，那么后续拼接的特征都是过平