GCN blog阅读

W_dyyy

已于 2023-08-04 01:00:56 修改

阅读量106

点赞数

分类专栏：自然语言处理机器学习图神经网络文章标签：深度学习人工智能机器学习

于 2023-07-24 23:48:01 首次发布

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/qq_35455206/article/details/131906633

版权

自然语言处理同时被 3 个专栏收录

5 篇文章

订阅专栏

3 篇文章

订阅专栏

图神经网络

1 篇文章

订阅专栏

GCN大佬文章总结，原文链接Graph Convolutional Networks | Thomas Kipf | Google DeepMind

Definitions

首先说什么是GCN：GCN(图卷积神经网络)是某一类图神经网络，称其卷积是因为filter参数全图共享。这类图神经网络的目的是要学习一个在图上的映射，输入是feature description $x_{i}$ 和图结构的向量表述，如邻接矩阵 $A$ 。输出是节点级的向量 $Z$ 。神经网络每一层都可以写成，不同的图神经网络仅仅是 $f$ 的不同

$H^{(l+1)}=f(H^{l},A)$

$H^{(0)}=X$ , $H^{l}=Z$ ，其中L是层数

Simple example

下式是最简单的GCN ： $f(H^{l},A)=\sigma (AH^{l}W^{l})$ 。 $\sigma (\cdot )$ 是激活函数，一般是 $ReLU$ ，模型虽然简单，但表现很优秀。

这个模型有两个缺点：

A乘H意味着，对每个节点来说，把所有邻居节点求和了，但没包括自己。
邻接矩阵A没有normalize，所以改为 $D^{-1}A$ ，又因为一般是对称矩阵，再对其对称化 $D^{-\frac{1}{2}}AD^{-\frac{1}{2}}$

$D^{-\frac{1}{2}}AD^{-\frac{1}{2}}$ 等价于对每条边的权重乘以 $\frac{1}{\sqrt{d_{i}}\sqrt{d_{j}}}$ 再求邻接矩阵。

之所以这么做能归一化是因为我们对每一行求和得 $\frac{\sum_{j=1}^{n}a_{ij}}{\sqrt{d_{i}}\sqrt{d_{j}}}$ ,有因为 $d_{i}=\sum_{j=1}^{n}a_{ij}$ ，所以每一行的和等于 $\frac{\sum a_{ij}}{\sqrt{\sum_{i=1}^{n}a_{ij}\sum_{j=1}^{n}a_{ij}}}=1$ 。

于是我们得到Kipf&Welling大佬们的公式

$f(H^{l},A)=\sigma (\hat{D}^{-\frac{1}{2}}\hat{A}\hat{D}^{-\frac{1}{2}}H^{(l)}W^{l})$

$\hat{A}=A+I$ , $I$ 是单位矩阵

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。