图卷积神经网络GCN、GAT的原理及Pytorch实现

Dr.Petrichor

已于 2023-04-11 22:12:50 修改

阅读量7.9k

点赞数 28

分类专栏： # GNN # NLP 文章标签：深度学习人工智能 1024程序员节

于 2022-10-22 14:21:12 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_43734080/article/details/127448525

版权

NLP 同时被 2 个专栏收录

18 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

GNN

2 篇文章

订阅专栏

本文深入探讨了图神经网络（GNN）的基础，包括图的概念、GNN与CNN、RNN的区别。重点介绍了图卷积神经网络GCN和图注意力网络GAT的原理，特别是GCN的邻接矩阵、聚合操作和多层迭代，以及GAT中的Attention机制和Multi-Head Attention。文中还提供了GCN与GAT的PyTorch实现，并展示了训练结果和性能比较。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

八、GAT 图注意力网络 Graph Attention Network

8.1 引入Attention机制

8.2 采用Multi-Head Attention

8.3 代码实现

一、前言

ICLR作为机器学习方向的顶会，最近看了ICLR2023 Openreview的论文投稿分析，通过2022和2023年论文关键词、标题高频词等信息的可视化比较。根据前十的关键词频率排名频率来看，基本上和去年保持一致，大火的领域依旧大火。但是可以明显看到前五名关键词的频率差距逐渐减少。有意思的是representation learning这一关键词终于又重回前三，再次为「国际学习表征会议」（ICLR）正名。graph neural network这一关键词则是掉了一名，与representation learning交换了位置，但相比于去年的频率仍然火爆。GCN作为GNN的变种，依然是一个发论文的热门。