图卷积网络（Semi-Supervised论文思路整理）

最新推荐文章于 2025-04-07 19:33:37 发布
最新推荐文章于 2025-04-07 19:33:37 发布
阅读量1k 收藏 1
点赞数
本文探讨了图神经网络(GNN)的基本概念与应用，强调了在复杂图数据中学习潜在知识的重要性。介绍了GCNs的定义与实例，展示了其在分类任务上的效果，并提供了直观的视觉解释。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

				版权声明：本文为博主原创文章，未经博主允许不得转载。					https://blog.youkuaiyun.com/u013006675/article/details/81098466				</div>
							            <div id="content_views" class="markdown_views prism-atom-one-dark">
						<!-- flowchart 箭头图标 勿删 -->
						<svg xmlns="http://www.w3.org/2000/svg" style="display: none;"><path stroke-linecap="round" d="M5,0 0,2.5 5,5z" id="raphael-marker-block" style="-webkit-tap-highlight-color: rgba(0, 0, 0, 0);"></path></svg>
						<p>之前承诺要写一个关于graph network的介绍，因为随着deep learning的发展达到一个很高的水平，reasoning(推理)能力的具备变得异常迫切。而knowledge graph则是实现reasoning的重要途径之一，如何从复杂的graph中学习到潜在的知识是一项非常challenging的任务，图作为knowledge的存储媒介，deep learning作为信息抽取的重要工具，二者的结合可谓是必然趋势。下面我将结合之前看过的一篇国外的博客，为大家入门graph neural network抛一块砖。</p>

在开始之前，多说几句，关于graph和deep learning结合的工作，想必大家都能猜到名字该怎么取，无非是这几个关键词的组合：Graph，Neural，Network，Convolution…所以，许多工作从paper名字来看并没有多大的区分性。

前言

现实世界许多数据都是以graph的形式存储的，比如social networks(社交网络), knowledge graphs(知识图谱), protein-interaction networks(蛋白质相互作用网络), the World Wide Web(万维网),最近有一些研究者把目光投向建立一种通用的神经网络模型来处理graph数据。在此之前，该领域的主流方法是一些基于kernel的方法或基于graph的正则化技术，不过从deep learning的角度来讲，这些已经属于“传统方法”了，不是我们要讨论的主题，不了解也没有关系。

GCNs:定义

由于大家的思想普遍是如何将CNN等神经网络的思想迁移到graph上，所以往往设计出来的结构都有一定的共性，使用类似convolution权重共享的思想，我们可以把这类网络暂且都称作Graph Convolutional Networks(GCNs)。这类网络从数学上来看，是想学习 G = ( V , E ) G = ( V , E ) G = ( V , E ) G=(V,E)G=(V,E) G=(V, E) G=(V,E)G=(V,E)G=(V,E)f(H(l),A)=σ[D−1/2(A+I)D−1/2H(l)W(l)]

这样，本质上我们就实现了Kipf & Welling (ICLR 2017)中设计的传播模型。

GCNs : 实例

本节我们利用上面介绍的模型实现一个分类问题。首先大家可以先看一下Zachary’s karate club network数据集以及它的背景，该数据集可以以下图的形式呈现，简单介绍的话就是说一个空手道俱乐部内部出现矛盾要被拆分为两波人，我们需要依据队员们平时的交往关系来判断他们会站哪一支队伍，图中每个节点表示一个队员，若两个节点之间存在边，则表示对应两个队员之间关系密切。下图使用clustering做个一个简单的划分，仅做参考，颜色相同的表示最后分在一组(这里作者貌似没有分为2类，而是4类)。

这里使用上述介绍的模型对每个node做embedding(这里网络设置为3层，使用了半监督，具体可以看原文Kipf & Welling ，不过大可以当做有监督来看)，embedding后的效果就是同一组特征在空间上距离相近，下面的video展示了embedding的过程，效果还是相当明显的：

width="560" height="315" src="https://youtu.be/EuK4L61JmcQ" allowfullscreen="">

显示不了的话可移步https://youtu.be/EuK4L61JmcQ观看

GCNs：启发式的解释

我们发现一个很有意思的现象，就是当我们还没有开始训练，仅仅是随机初始化上述模型的参数之后，也产生了一定的embedding效果，如下图所示：

近期一个叫DeepWalk (Perozzi et al., KDD 2014)的工作表明他们可以使用无监督的方式产生一个相似的embedding效果，这听起来挺不可思议的，我们试图从Weisfeiler-Lehman算法的角度来解释，并把GCNs看做该算法的通用、可微版。

其实下面的部分可看可不看，因为我并没与觉得作者的解释有多少说服力，感兴趣的可以看一下原文。
之前做过一个PPT，也简单的介绍了一下三种graph neural network，需要的可以点击这里浏览一下。

由于水平所限，可能文中很多地方解释的不好，欢迎大家批评指正，相互进步，谢谢~

reference

http://tkipf.github.io/graph-convolutional-networks/

        </div>
					<link href="https://csdnimg.cn/release/phoenix/mdeditor/markdown_views-7b4cdcb592.css" rel="stylesheet">
            </div>
Piggytuotuo
关注
ICML 2020 | 4 篇图卷积网络相关论文
weixin_45519842的博客
07-17 1631
本文介绍 ICML2020 中 4 篇与图卷积网络相关的论文。论文亮点1. 自监督何时有助于图卷积网络？首次将自监督纳入 GCNs 的系统探索和评估2. 用于图结构数据的卷积核网络引入了...
图卷积经典Semi-Supervised Classification with Graph笔记
weixin_45047473的博客
01-23 1963
train.py中调用模型gcl1输入尺寸nfeat，输出尺寸nhidgcl2输入尺寸nhid，输出尺寸nclassin_features:输入特征那的维度out_features:输出特征的维度bias:bool型是否使用偏置项weigt：可学习的权重矩阵。
图卷积网络、图神经网络必读论文
知行合一，止于至善
08-24 1万+
文章目录Content[Survey papers](#content)Models[Basic Models](#content)[Graph Types](#content)[Pooling Methods](#content)AnalysisEfficiencyApplicationsPhysics[Chemistry and Biology](#content)[Knowledge Gra...
论文阅读笔记：图卷积网络
weixin_44876302的博客
04-11 1713
Cite: SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS https://arxiv.org/abs/1609.02907 摘要 我们提出了一种可扩展的图结构数据半监督学习方法，该方法基于直接操作于图的卷积神经网络的有效变体。我们通过谱图卷积的局部一阶近似来激励卷积结构的选择。我们的模型在图边的数量上线性伸缩，并学习对局部图结构和节点特征进行编码的隐藏层表示。 1 简介 我们考虑在图中对节点进行分类的问题，其中有标
【Mo 人工智能技术博客】图卷积网络概述及其在论文分类上的应用
Mo 的博客
12-08 964
近年来，深度学习在计算机视觉、自然语言处理等领域大放异彩。这些领域所面对的数据都是结构化的，如图像、音频、文本等，它们内部都有明确的排列规则。结构化的数据由于具有这些确定的规则而方便处理，但是在现实生活中，非结构化的关系数据才是主流。我们无时无刻不在面临着关系数据：构成物质的分子是一种由各种原子组成的关系网络；人类社会是一种以人为节点组成的社交网络；整个宇宙更是一种异质、非均匀的大型网络。有实体的地方一定有关系，关系中同样蕴藏着丰富的信息。与一般的深度学习方法不同，图神经网络（GNN）是一种可用来从网络（图
卷积神经网络新思路
大行疯者的博客
09-08 559
今天听kk讲课，听到了一种新的处理卷积神经网络的思路。 传统的cnn是将数据还原成二维的图像，再利用卷积核去卷积，kk今天提了一种叫做 可控受限野神经网络层结构的 理论。 首先提一个问题，如何在将图像降维成一维时依然保留图像的各个部分之间的空间关系，也就是保留图像的区域相关性。可能说的有些抽象，举个例子。 给一张图，如果取其中的两个点，然后我们有没有办法在图片变成一维的时候还能保留这两个点
论文翻译：图卷积入门-SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS
com_fang_bean的博客
07-23 1635
我们提出了一种可扩展的在图结构数据上进行半监督学习的方法，它基于一种直接在图上操作的卷积神经网络的有效变体。我们通过频谱图卷积的局部一阶近似来激励卷积架构的选择。我们的模型以图形边的数量线性缩放，并学习编码局部图结构和节点特征的隐藏层表示。在引文网络和知识图数据集的大量实验中，我们证明了我们的方法。 我们考虑对图(如引文网络)中的节点(如文档)进行分类的问题，其中标签只对一小部分节点可用。这个问题可以被框定为基于图的半监督学习，通过某种形式的显式基于图的正则化来平滑图上的标签信息...
论文阅读记录 | Decoupled Consistency for Semi-supervised Medical Image Segmentation
m0_61574757的博客
07-13 922
论文阅读记录 | Decoupled Consistency for Semi-supervised Medical Image Segmentation
自监督论文阅读笔记 S3Net：Self-supervised Self-ensembling Network for Semi-supervised RGB-D Salient Object Det
YoooooL_的博客
06-01 1124
通过利用未标记数据和探索一种自监督学习机制，提出了一种用于半监督RGB-D显著目标检测的自监督自集成网络（S3Net）。 具体而言，本文首先通过开发 一系列三层跨模型特征融合（TCF）模块来利用深度和RGB模式之间的互补信息，并制定一个辅助任务来预测自监督的图像旋转角度，从而构建一个自导卷积神经网络（SG-CNN）作为基线模型。然后，为了进一步探索来自未标记数据的知识，我们将SGCNN分配给 学生网络和教师网络，并鼓励这两个网络的显著性预测和自监督旋转预测在未标记数据上保持一致...
Self Pseudo Entropy Knowledge Distillation for Semi-supervised Semantic Segmentation 论文阅读
weixin_51657614的博客
07-20 972
SUPERVISED语义分割方法依靠高质量的标记数据，在众多图像领域取得了显著的效果，如自然图像[1]-[4]、遥感图像[5]-[8]、医学图像[9]-[12]等。然而，在一些实际场景中，由于耗时的数据收集和标注，以及需要专业的理解，很难获得专家注释。此外，标注者的主观认知偏差问题使监督学习容易过拟合偏差，从而使模型无法学习到数据中嵌入的正确知识。为了解决这个问题，半监督语义分割得到了很多关注[13]-[35]，它利用大量的原始数据来辅助训练，当只有很少的标记数据可用时。
图卷积相关论文解读 CTR-GCN
qq_54407673的博客
05-15 2054
CTR-GCN的突出贡献有2点：第一，提出一种通道拓扑细化模块，该模块通过对通道维度的压缩与聚合，对每个通道运用不同的图卷积网络进行特征提取。第二，ctr-gc与简化后的多尺度时间卷积模块MS-TCN模块结合，构成了CTR-GCN架构，该模型参数量小，同时相较于baseline提升巨大。M1（·）本质上计算了ψ（xi）和φ（xj）之间的距离，并利用这些距离的非线性变换作为vi和vj之间的信道特定拓扑关系。主要的区别是，使用更少的分支，因为太多的分支会降低推理速度。，CTR-GC以信道级的方式聚合特征。
图卷积网络（Graph Convolutional Network）
热门推荐
chensi1995的博客
08-16 7万+
一. 图简介，图卷积网络的出现。 图（graph）是一种数据格式，它可以用于表示社交网络、通信网络、蛋白分子网络等，图中的节点表示网络中的个体，连边表示个体之间的连接关系。许多机器学习任务例如社团发现、链路预测等都需要用到图结构数据，因此图卷积神经网络的出现为这些问题的解决提供了新的思路。下图就是一个简单的图结构数据： 图上的神经网络，最早由Joan Bruna于2014年在论文Spect...
图卷积
HeavenerWen的博客
05-21 384
图卷积 之前的时候的实现不好被调用. Graph 矩阵 非常大 现在直接调用别人的，所以，不用考虑洗漱的。
数字签名与数字加密
Fisher的专栏
11-13 733
数字签名司令部向部署在各处的间谍发出搜集情报的指令。总部签名以确保指令的权威性，间谍们用总部实现分发的公钥验证收到的指令的准确无误，以免搜集无价值的情报，浪费资源。其过程如下图所示。数字加密各处间谍搜集好情报后为防止信息暴露，采用司令部分发的公钥给信息加密，然后将情报信息司令部。司令部自己掌握私钥来一一解密各处间谍传回的情报信息。这私钥甚至连间谍们也不能拥有，情报一旦被某位间谍加密，除了司令部，没有任何其他人可以解密（包括搜集情报并给情报加密的那位间谍）。
卷积神经网络全面解析
常思考->有目标->重实践->善反思
10-12 4163
卷积神经网络（CNN）概述从多层感知器（MLP）说起 感知器多层感知器 输入层-隐层隐层-输出层 Back Propagation存在的问题 从MLP到CNN CNN的前世今生CNN的预测过程 卷积下采样光栅化多层感知器预测 CNN的参数估计 多层感知器层光栅化层池化层卷积层 最后一公里：SoftmaxCNN的实现 思路其他 最近仔细学
GCN图卷积神经网络论文阅读
Burger_的博客
12-01 1042
Semi-Supervised Classification with Graph Convolutional Networks一文的读后感
关于图卷积
最新发布
qq_45670407的博客
04-07 1065
关于深度学习中的图卷积
Semi-supervised classification with graph convolutional networks
03-14
### 图卷积网络在半监督分类中的应用 #### 半监督学习背景 半监督学习是一种利用少量标注数据和大量未标注数据来提高模型性能的学习范式。对于许多实际应用场景而言，获取大规模高质量的标注数据成本较高，因此半监督学习成为一种重要的解决方案。 #### 图卷积网络的核心思想 图卷积网络（Graph Convolutional Network, GCN）通过将传统的卷积操作推广到图结构上，能够有效地处理具有复杂关系的数据集。其核心在于如何定义适用于图结构的卷积运算，并将其应用于节点特征的学习过程[^1]。 具体来说，《Semi-Supervised Classification with Graph Convolutional Networks》提出了基于谱图理论的方法，通过对拉普拉斯矩阵进行局部一阶近似，实现了高效的前向传播算法。这种方法不仅保留了图结构的信息，还能够在计算效率方面取得良好的平衡[^2]。 #### 谱图卷积及其简化形式 原始的谱图卷积依赖于傅里叶变换，在频域中完成滤波器的设计与应用。然而，这种做法通常涉及复杂的矩阵分解操作，难以直接扩展至大型稀疏图。为了克服这一局限性，论文引入了一种切比雪夫多项式的近似方式，进一步减少了参数数量并提升了运行速度[^3]。 最终得到的形式化表达如下所示： \[ H^{(l+1)} = \sigma(\tilde{D}^{-\frac{1}{2}}\tilde{A}\tilde{D}^{-\frac{1}{2}} H^{(l)} W^{(l)}) \] 其中 \(H^{(l)}\) 表示第 l 层隐藏层的状态；\(W^{(l)}\) 是权重矩阵；而 \(\tilde{A}=A+I_N,\tilde{D}_{ii}=\sum_j{\tilde{A}_{ij}}\) 则分别代表增广邻接矩阵以及对应的度数矩阵[^4]。 此更新规则体现了两方面的特性：一方面它融合了来自邻居节点的影响；另一方面允许逐层调整特征表示的空间维度大小。 #### 应用实例 该框架被成功验证于多个标准基准测试任务之上，比如Cora、Citeseer 和 Pubmed 文献引用网络数据集。实验结果显示相比于其他传统方法或者简单的多层感知机架构，采用GCNs能显著提升预测精度的同时保持较低的时间开销。 ```python import numpy as np from scipy.sparse import csr_matrix from sklearn.preprocessing import OneHotEncoder def preprocess_adjacency(adj): """Preprocess adjacency matrix.""" adj_normalized = normalize_adj(adj + sp.eye(adj.shape[0])) return sparse_to_tuple(adj_normalized) class GraphConvLayer(tf.keras.layers.Layer): def __init__(self, input_dim, output_dim, activation=tf.nn.relu, **kwargs): super(GraphConvLayer, self).__init__(**kwargs) self.W = tf.Variable(initial_value=tf.random.normal([input_dim, output_dim]), trainable=True) self.activation = activation def call(self, inputs): features, support = inputs pre_sup = dot(features, self.W, sparse=False) output = dot(support, pre_sup, sparse=True) return self.activation(output) if self.activation is not None else output ``` 上述代码片段展示了构建基本图形卷积层的过程，其中包括必要的预处理步骤以及自定义Keras层的具体实现细节。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值