Deeper Insights into Graph Convolutional Networks for Semi-Supervised Learning

最新推荐文章于 2022-06-14 23:11:08 发布
最新推荐文章于 2022-06-14 23:11:08 发布
阅读量2.3k 收藏 12
点赞数
CC 4.0 BY-SA版权
分类专栏： 论文笔记 文章标签： graph network
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zsf2951186806/article/details/90301995
本文探讨了图卷积网络（GCN）在节点分类任务中的局限性，如过度平滑和局部性问题。通过结合随机游走和半监督学习方法，如self-training和co-training，提出了解决方案。实验表明，这些方法在少量标签情况下能有效传播标签信息，提高模型性能。尽管如此，文章也指出GCN的动态图更新和边权重调整是未来研究的方向。

 

题目与摘要

本文针对什么任务？任务简要介绍下。

针对于节点分类任务

本文发现了什么问题？该文大体是怎么解决的？解决得如何？

传统的GCN的层数不能过多，过多会引起过渡平滑，以及卷积的局部性当标签比较少时，不能将标签传遍全图。

解释下题目。题目起得如何？能概括内容并吸引人吗？

简单明了

介绍

这个任务以往是如何解决的？作者沿着哪条路径继续研究的？为什么？

作者的论文中以往没人解决，所以作者沿着random walk突破GCN的局部特性

目前工作存在什么问题？为什么？你觉得可能还存在什么其他问题？为什么？

1、GCN层数受限，因为拉普拉斯平滑会使其与周围特征区分不明显，层数少的时候有利于分类，层数过多，所有的点都是一样的了。

2、GCN的局部性，当标签过少时，标签传播不到整张图，会降低性能

我：1、Graph的边是固定不变的，如果一开始边的确定就是错误的，那么没有改正机会（有人已经解决了）

2、GCN容易被平滑与CNN比怀疑因为GCN的复杂度比较高，同时CNN的参数少。

3对于距离较远的点如何建立二者之间的联系

感觉很多都在动态图的范围之内了

该文准备如何解决这个问题？为什么可以这样解决？你觉得该文解决这个问题的方法如何？为什么？你觉得可以如何/或更好的解决这个问题？为什么？

本文使用random walk 与GCN一起训练，并进行self-training或者co-training，不需要使用验证集，只要训练集的点到达一定数量就认为全图都被传播遍了。

因为GCN主要受限于局部卷积，所以使用randim walk弥补这一短板

因为标签比较少，不能传播至全图，所以使用self-training co-trainning 在训练集中添加数据。增加点的数量，有利于传播至全图，当训练集点的数量到达一定数量，默认为整张图都被传播到标签了。

我觉得我们应该学会创建边，目前边的权重不进行

最低0.47元/天 解锁文章

新学期VIP享超值加赠
图神经网络论文阅读(十一) Hierarchical Graph Convolutional Networks for Semi-supervised，IJCAI2019
qq_36618444的博客
08-18 3778
本文作者来自中科大。 基于邻域聚集的模型大多比较浅，缺乏图池机制，使得模型无法获得足够的全局信息。为了增加接收域，我们提出了一种新的半监督节点分类的深度层次图卷积网络（Hierarchical Graph Convolutional Network (H-GCN)）。H-GCN首先将结构上相似的节点重复聚合为超节点，然后将粗化后的图细化为原始图，恢复每个节点的表示。所提出的粗化过程扩大了每个节点的接受域，从而可以捕获更多的全局信息，而不是仅仅聚合一跳或两跳的邻域信息。本文的方法其实就是图Encoder-De
A Comprehensive Survey on Graph Neural Networks(图神经网络综合研究)
weixin_41697507的博客
07-06 7723
A Comprehensive Survey on Graph Neural Networks Zonghan Wu, Shirui Pan, Member, IEEE, Fengwen Chen, Guodong Long, Chengqi Zhang, Senior Member, IEEE, Philip S. Yu, Fellow, IEEE Abstract—Deep learning ...
AAAI18 ： Deeper Insights into Graph Convolutional Networks for Semi-Supervised Learning
qq_40926715的博客
04-05 3096
文章信息 摘要 本文中，我们对GCN模型有了更深入的见解，并解决了其基本限制。 首先，我们证明了GCN模型的图卷积实际上是一种特殊的拉普拉斯平滑形式，这是GCNs工作的关键原因，但它也带来了许多卷积层的过平滑的潜在问题。 其次，为了克服具有浅层架构的GCN模型的局限性，我们提出了协同训练和自我训练的方法来训练gcn。 我们的方法显著地提高了gcn在学习中很少的标签，并免除了它们需要额外的标签进行验证。大量的基准测试实验已经验证了我们的理论和建议。 1. Introduction GCN模型对半监督学习的工
Deeper Insights into Graph Convolutional Networks for Semi-Supervised Learning 深入了解半监督学习的图卷积网络GCN
知行合一，止于至善
09-19 6072
文章目录1 简介2 相关工作2.1 Graph-Based Semi-Supervised Learning 基于图的半监督学习2.2 Graph Convolutional Networks 图卷积网络2.3 Semi-Supervised Classification with GCNs 用GCN进行半监督节点分类3 分析3.1 Why GCNs Work ？Laplacian Smoothi...
论文学习笔记：Deep Insights into GCN for Semi-Supervised Learning
weixin_40675092的博客
06-25 274
自从深度学习兴起，许多机器学习中有趣的问题重新被提起。最近提出的图卷积完美的整合了局部顶点特征和图拓扑信息。虽然GCN优于其他state-of-the-art的方法，但是GCN的工作机制并不清晰。本文介绍来自AAAI 2018的工作，深入的剖析了图卷积层中是什么在起作用，并且针对少量标签数据集上的GCN训练，提出Co-Training和self-Training方法。 Graph Conv Kipf & Welling提出的图卷积包括下面几步： 1.利用图邻接矩阵创建图卷积滤镜。每个节点增加sel.
How to do Deep Learning on Graphs with Graph Convolutional Networks Part 2:
bbbeoy的专栏
04-01 845
Machine learning on graphs is a difficult task due to the highly complex, but also informative graph structure. This post is the second in a series on how to do deep learning on graphs with Graph Conv...
A Comprehensive Survey on Graph Neural Networks--图神经网络综合研究
m0_44967199的博客
01-13 4305
现阶段研究现状 近年来，从图像分类到视频处理再到语音识别和自然语言处理，深度学习已经变革了多项机器学习的任务。这些任务中的数据通常表示在欧几里得空间中。然而，越来越多的应用使用非欧几里得域生成的数据，并将它们表示为具有复杂关系和相互依赖的关系图。虽然图数据的复杂性对现有的机器学习的算法提出了重大的挑战，但最近许多研究开始将深度学习方法扩展到图数据。 本文综述了数据挖掘和机器学习领域中的图神经网络（...
【论文】Graph Neural Networks: A Review of Methods and Applications
安静
02-25 1090
Graph Neural Networks: A Review of Methods and Applications1 Introduction2 Models2.1 Graph Neural Networks2.2 Variants of Graph Neural Networks2.3 General Frameworks3 Applications3.1 Structural Scenar...
gcn论文
最新发布
04-05
2. **Li et al., Deeper Insights into Graph Convolutional Networks for Semi-Supervised Learning**, 对原有架构进行了深入剖析并指出深层设计面临的障碍来源于连续施加拉普拉斯正则项所带来的极端光滑效应风险. ...
Uncertainty Estimation in GNN and Deep Learning（Paper Collection and Simple Notes）
我的技术栈碎碎念空间
08-30 1566
通俗地说，机器学习模型的输出结果不是板上钉钉的事儿，医疗诊断需要给出病症的判断概率，对于不确定的数据和模型参数，也需要给出模型的不确定度。 不确定性估计： 模型不确定性（感知不确定性，epistemic uncertainty） 模型不确定性通常源于对收集的训练数据的不认识。感知不确定性通过多次输出的方差来决定。 模型不确定制定在参数的分布上，通过先验分布预设模型，在给予一些训练数据后观察这个分布的变化。 可以被消除，需要增大数据量进行训练。 对于模型不确定性的实现比较简单：在train时使用dropo
Iterative-Classification:实施迭代模型以使用链接的内容和链接之间存在的关系进行适当的预测，以便与基于内容的贝叶斯分类相比更准确地对未标记的数据进行分类
05-20
迭代分类 与基于内容的贝叶斯分类相比，实现了一种迭代模型，该模型用于使用链接的内容和链接之间存在的关系进行适当的预测，以便更准确地对未标记的数据进行分类。
Label Efficient Semi-Supervised Learning via Graph Filtering.pdf
08-09
Graph-based methods have been demonstrated as one of the most effective approaches for semi-supervised learning,astheycanexploittheconnectivitypatternsbetweenlabeled and unlabeled data samples to improve learning performance. However, existing graph-based methods either are limited in their ability to jointly model graph structures and data features, such as the classical label propagation methods, or require a considerable amount of labeled data for training and validation due to high model complexity, such as the recent neural-network-based methods. In this paper, we address label efficient semi-supervised learning from a graph filtering perspective. Specifically, we propose a graph filtering framework that injects graph similarity into data features by taking them as signals on the graph and applying a low-pass graph filter to extract useful data representationsforclassification,wherelabelefficiencycan be achieved by conveniently adjusting the strength of the graph filter. Interestingly, this framework unifies two seemingly very different methods – label propagation and graph convolutional networks. Revisiting them under the graph filtering framework leads to new insights that improve their modelingcapabilitiesandreducemodelcomplexity. Experiments on various semi-supervised classification tasks on four citation networks and one knowledge graph and one semi-supervised regression task for zero-shot image recognition validate our findings and proposals.
【GCN】论文浅读：SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS
没有胡子的猫Asimov
11-12 758
title: GCN cover: https://gitee.com/Asimok/picgo/raw/master/img/MacBookPro/20201112141842.jpg GCN GCN：图卷积网络 SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS：基于图卷积网络的半监督分类 任务 在图结构数据中，一部节点已知标签，剩下的节点标签未知，使用已知标签的节点训练卷积神经网络，使用网络模型对无标签的节点进行分.
图卷积神经网络(GCN)综述与实现（PyTorch版)
qq_45957458的博客
06-14 1万+
图卷积神经网络的数学推导和实现！
翻译--SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS
w986284086的博客
05-10 1万+
SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS 图卷积神经网络的半监督学习 原文连接: Semi-Supervised Classification with Graph Convolutional Networks 0. 摘要 We present a scalable approach for s...
semi_supervised classification with graph convolutional networks论文阅读报告(1)
u013263329的博客
08-25 8054
来来来，下一篇。 这篇论文的作者写了一篇博客，介绍了这篇文章的来龙去脉：GRAPH CONVOLUTIONAL NETWORKS  论文作者已经写得挺详细了，我为啥还要写这篇博客呢？因为我发现作为一个小白，很多地方是不懂的，所以我想把自己的思路和问题写下来。 另外还有，论文内容与代码的对应问题：我发现有时候论文看的非常皮毛，理论和代码对应不上，所以想把他们的之间的关系描述一下，把我学习的
RGCN - Modeling Relational Data with Graph Convolutional Networks 使用图卷积网络对关系数据进行建模 ESWC 2018
热门推荐
知行合一，止于至善
10-27 2万+
文章目录1 相关介绍两个任务main contributions2 Neural relational modeling2.1 符号定义2.2 关系图卷积网络R-GCN2.3 Regularization 规则化basis decomposition 基函数分解dblock-diagonal decomposition 块对角分解3 节点分类4 链接预测5 实验5.1 实体分类实验Datasets...
SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS个人理解
yuzhijiedingzhe的博客
12-25 1万+
SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS 总体介绍： 在该篇论文中，作者提出了一种可扩展式的半监督学习卷积神经网络方法处理基于图结构的数据。论文中作者所提出的方法应用的是关于图结构数据中的聚类问题。通过图结构数据中部分有标签的节点数据对卷积神经网络结构模型训练，使网络模型对其余无标签的数据进行进一步分类，从
图神经网络（十四）Hierarchical Graph Convolutional Networks for Semi-supervised Node Classification
码匀的博客
03-18 1861
本文作者来自中科院，文章被收录于IJCAI 2019。当前基于邻域聚集的GCN模型大多数是浅层的，并且缺乏“图池化”机制，这使得模型无法获得足够的全局信息。为了增加感受域，本文提出了一种深层层次图卷积网络（H-GCN），H-GCN首先将结构相似的节点重复聚集到超节点，然后将粗化后的图细化为原始图，以恢复每个节点的表示。该粗化过程不是简单地聚合一跳或两跳的邻域信息，而是扩大了每个节点的接受范围，从而可以捕获更多的全局信息。H-GCN模型在不同的公共基准图数据集上获得了较高的性能提升。源码在此 Introduc
Very Deep Convolutional Networks for Large-Scale Image Recognition" by Karen Simonyan and Andrew Zisserman (2014)
05-12
"Very Deep Convolutional Networks for Large-Scale Image Recognition" is a research paper by Karen Simonyan and Andrew Zisserman, which was published in 2014. The paper introduces the architecture of ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值