Graph attention networks

本文探讨了图神经网络中GAT(图注意力网络)与GCN(图卷积网络)的不同之处。GAT通过自我注意力机制为每个节点与其邻居之间的边赋予不同的权重,从而改进了GCN中所有节点共享同一权重的问题。文章详细介绍了GAT如何利用多头注意力机制提升模型性能。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

ICLR 2018

最近在学习图卷积网络。调研一些文章吧。

这篇文章不是GCN,是GAT

输入是N个结点特征h,输出是新的N个特征h'。这个过程至少需要一个权重矩阵W来转移。这里W是所哟结点共享的。这样的共享的结果肯定不是最优的,因此加上self-attention,为每个相邻节点到中心节点的转移设置独特的权重:

这里Ni是i节点的邻接点集合。aij就是上述独特的权重,其实就是邻接点对中心点的重要性

文中还提到多头注意力机制更优:

K是注意力机制数目。||是concat操作。

当然最后一层不能concat了,要求均值。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值