Simplifying Graph Convolutional Networks

Starry memory

于 2022-06-16 20:00:08 发布

阅读量481

点赞数

CC 4.0 BY-SA版权

文章标签：神经网络深度学习机器学习

本文链接：https://blog.youkuaiyun.com/doswynkfsw/article/details/122559695

SGCN（Simplifying Graph Convolutional Networks）是GCN的一种简化形式，它提出GCN的关键在于邻近节点特征的聚合，而非非线性激活函数。通过删除非线性激活并保留最终的归一化操作，SGCN构建了一个线性模型。模型通过折叠邻接矩阵来表示，并用softmax函数进行分类输出。SGCN的表达式为Y^SGC=softmax(A~KXW){f{hatY}

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

背景

对图神经网络的简化，WU F, ZHANG T, JR. A H S, et al Simplifying Graph Convolutional Networks. ICML

模型

SGCN (Simplifying Graph Convolutional Networks)是图神经网络的简化。 SGCN指出图神经网络对特征进行邻近节点聚合后相当于多层线性感知机。多层神经网络目的是通过拟合非线性函数划分不同的数据类别。SGCN假定非线性不是GCN层之间的关键，认为GCN最关键的是对于邻居特征的聚合操作。因此SGCN 删除GCN层之间的非线性激活函数，保留最终特征的归一操作，得到线性模型。表示为模型可学习的参数。 $A~=D^−12A^D^−12{\bf{\tilde A}} = {{\bf{\hat D}}^{^{ - \frac{1}{2}}}}{\bf{\hat A}}{{\bf{\hat D}}^{^{ - \frac{1}{2}}}}$ ， $A^=A+I{\bf{\hat A}} = {\bf{A}} + {\bf{I}}$ ， $I{\bf{I}}$ 表示单位矩阵。
$Y^=softmax(A~⋯A~A~XW(1)W(2)⋯W(k)) {\bf{\hat Y}} = {\rm{softmax}}({\bf{\tilde A}} \cdots {\bf{\tilde A\tilde AX}}{\begin{matrix}{{}{}} {\bf{W}} \end{matrix}^{(1)}}{\begin{matrix}{{}{}} {\bf{W}} \end{matrix}^{(2)}} \cdots {\begin{matrix}{{}{}} {\bf{W}} \end{matrix}^{(k)}})$

将 $A~⋯A~A~{\bf{\tilde A}} \cdots {\bf{\tilde A\tilde A}}$ 进行折叠，改写为 $A~K{{\bf{\tilde A}}^K}$ ，最终 $Y^SGC{{\bf{\hat Y}}_{{\rm{SGC}}}}$ 被表示为:

$Y^SGC=softmax(A~KXW) {{\bf{\hat Y}}_{{\rm{SGC}}}} = {\rm{softmax}}({{\bf{\tilde A}}^K}{\bf{X}}\begin{matrix}{{}{}} {\bf{W}} \end{matrix})$
$Y^SGC{{\bf{\hat Y}}_{{\rm{SGC}}}}$ 表示SGC最终的分类输出结果， $softmax(⋅)=exi∑iexi{\rm{softmax}}( \cdot ) = \frac{{{e^{{x_i}}}}}{{\sum\nolimits_i {{e^{{x_i}}}} }}$