qq_33742416的博客

翻译 Representing Long-Range Context for Graph Neural Networks with Global Attention

abstract 图神经网络是结构化数据集的强大架构。然而，目前的方法很难代表长距离的依赖关系。缩放GNN的深度或宽度不足以扩大感受野，因为更大的GNN会遇到优化不稳定的问题，如梯度消失和再现过平滑，而基于集合的方法还没有变得像计算机视觉那样普遍有用。在这项工作中，我们提出使用基于Transformer的自我关注来学习长距离的成对关系，用一种新颖的 "读出 "机制来获得全局图的嵌入。最近的计算机视觉结果发现位置不变的注意力在学习长距离关系方面表现良好，受此启发，我们的方法，我们称之为GraphTrans，在