【网络表示学习】FastGCN

最新推荐文章于 2025-06-26 09:50:15 发布
原创 最新推荐文章于 2025-06-26 09:50:15 发布 · 3.8k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

摘要

Kipf提出的GCN模型训练过程同时需要训练数据和测试数据，对于大图训练效率低。为了解决训练过程对测试数据的需要，本文提出了FastGCN模型，将图卷积操作解释为的embedding函数在概率度量下的积分变换。这种解释下，可以采用蒙特卡洛方法估计积分，并可以进行batch训练。FastGCN使用重要采样，在保持准确性的同时训练效率有了数量级的提升。

Model

类比SGD每个epoch随机选取一个样本进行梯度下降。对于图，可以通过丢弃随机样本点iii 的邻居节点，不再使用独立性，计算样本的梯度。$\nabla $

假设有一个无限大的图G′G'G′ 以及节点集合V′V'V

最低0.47元/天 解锁文章

200万优质内容无限畅学
图神经网络（十）：FASTGCN: FAST LEARNING WITH GRAPH CONVOLUTIONAL NETWORKS VIA IMPORTANCE SAMPLING
码匀的博客
03-13 1333
一句话概括该论文： 这篇论文提出了fastGCN，它的主要思想是将图节点解释为某种概率分布下的独立同分布样本，并将损失和每个卷积层写为关于顶点嵌入函数的积分。然后，通过定义样本损失和样本梯度的蒙特卡洛近似对积分进行评估。 Introduction： 研究背景： 尽管17年的GCN获得了比较好的结果，但由于GCN在训练时需要知道图的所有数据，因此是Transductive的，而对于现实世界来说，图中的节点是不断变化的，因此一个Indutive的模型是急需的。并且GCN面临的一个更严峻的挑战是，在批量训练中，跨
组队学习-图神经网络（fifth）
Etc_in_the_great的博客
07-01 470
本文主要分析Cluster-GCN: An Efficient Algorithm for Training Deep and Large Graph Convolutional Network论文中提出的新的图神经网络模型以及新的训练图神经网络的训练方法。 一些经典模型如 GCN 采用了 full-batch 的 SGD 优化算法，要计算整个梯度则需要存储所有中间的 Embedding，因此，其是不可扩展的。此外，虽然每个 epoch 也只能更新一次参数。 GraphSAGE 中提出 mini-batch
FastGCN： fast learning with graph convolutional networks via importance sampling 论文详解 ICLR 2018
知行合一，止于至善
09-21 9091
文章目录1 简单介绍概率测度 probability measure自助法 bootstrappingGCN面临的两个挑战解决思路（创新点）2 相关工作3 通过采样进行训练和推理定理13.1 variance reduction 方差缩减Proposition 2（命题2）定理3命题43.2 Inference 推理3.2 和GraphSAGE的对比4 实验Benchmark数据集实验细节Fast...
GCN：图卷积神经网络
最新发布
qq_53158516的博客
06-26 655
传统的图像处理方法，如卷积神经网络（CNN）和视觉Transformer，通常假设图像是一个规则的网格或序列结构。然而，现实中的物体往往是不规则的，具有复杂的拓扑关系，例如人可以由头、躯干和四肢构成，彼此之间形成类似图的连接关系。它为GNN在计算机视觉领域的应用开辟了新的方向，使得GNN的研究成果可以迁移到视觉任务中，进一步丰富了计算机视觉的理论体系。ViG Block 就是为了解决这个问题，它通过将图像表示为图结构，并在这个图上进行信息的聚合与更新，提供了比网格或序列更灵活、表达力更强的方式。
论文笔记：ICLR 2018 FastGCN: Fast Learning With Graph Convolutional Networks Via Important Sampling
qq_44015059的博客
09-17 1717
前言 这篇文章对数学的要求好高，奈何自己水平有限读不太懂，想进一步了解的推荐去看原文或者后面附上的博客链接，此篇博客仅仅是作者按照自己的思考过程整理而得 作者基于2017年由Kipf和Welling提出的以一阶切比雪夫不等式为卷积核的图卷积算法，分析它的一些特点如下： 传统的GCN是一种直推式图卷积(Transductive learning)，也就是训练数据包含训练数据和测试数据，只是测试数据在计算loss的时候被省略掉，是一种半监督学习的策略 原始GCN通过递归方法对图数据进行处理，这导致在处理大图和
探索FastGCN：高效图卷积网络实现
gitblog_00093的博客
04-17 563
探索FastGCN：高效图卷积网络实现 是一个基于PyTorch的库，专注于优化和加速图卷积网络（Graph Convolutional Networks, GCNs）的训练过程。该项目由Mateusz Matena和Jure Leskovec等人开发，旨在解决传统GCN在大规模图数据上的效率问题。 项目简介 FastGCN采用一种称为采样策略的方法来加速GCN的计算。这种方法的主要思想是在每次训...
手写论文笔记(一)：fastGCN
ptxx_p的博客
04-14 478
【网络表示学习】GCN
zjwreal
05-25 3134
问题描述 卷积神经网络（CNN）的输入图片是具有欧几里得结构的图结构，具有规则的空间结构，比如图片是规则的正方形栅格，比如语音是规则的一维序列。而这些数据结构能够用一维、二维的矩阵表示，卷积神经网络处理起来很高效。 而广义上的图（graph）是非欧几里得结构，不规则的空间结构。图卷积神经网络就是以某种方式将卷积算子推广到任意图数据上。融合节点特征和图的拓扑结构，利用深度学习生成新的表示的方法。 图...
FastGCN论文实现：示例代码详解及Reddit数据集应用
资源摘要信息:"FastGCN是一种基于图卷积网络（GCN）的算法，主要用于图数据的表示学习。GCN是一种利用深度学习技术进行图数据挖掘的方法，其核心思想是将图中的节点通过卷积操作进行特征提取，从而得到节点的低维...
FastGCNL:FAST LEARNING WITH GRAPH CONVOLUTIONAL NETWORKS VIA IMPORTANCE SAMPLING
zhao254014的博客
10-16 1094
每层采用固定数目的样本，根据节点的度，得出概率，进行重要性抽样
图表示学习-GCN 19年记录
zhang_fu_guan的博客
10-29 470
论文题目 SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS_ICLR17 论文链接 https://openreview.net/pdf?id=SJU4ayYglhttps://openreview.net/pdf?id=SJU4ayYgl 论文背景 本文提出了一种图卷积网络（graph covolutional networks, GCNs），该网络是传统卷积算法在图结构数据上的一个变体，可以直接用于处理图结构.
快速下降法的matlab代码-FastGCN-matlab:Matlab中的FastGCN和伴随代码，用于使用有偏但一致的梯度估计器分析SGD
06-12
快速下降法的matlab代码FastGCN：方法与理论 该存储库包含 FastGCN 的 Matlab 实现，以及优化理论论文的配套代码。 观察到 FastGCN 的 Matlab 代码比 Tensorflow 或 PyTorch 中的其他实现要快得多。 这篇理论论文用有偏但一致的梯度估计器解释了随机梯度下降，是 FastGCN 背后的驱动力。 对于随论文发布的原始 FastGCN 代码（在 Tensorflow 中实现），请参见 。 快速GCN 请参阅目录fastgcn 。 从test_fastgcn.m开始。 参考 陈洁、马腾飞、曹晓。 . 在 ICLR，2018 年。 使用有偏但一致的梯度估计器的 SGD 查看目录sgd_paper 。 从test_1layer.m和test_2layer.m开始。 参考 陈洁和罗尼·拉斯。 . 预印本 arXiv:1807.11880, 2018。
FastGCN:我们的ICLR18论文“ FastGCN”的示例代码
05-03
快速GCN 这是我们ICLR2018论文的Tensorflow实施： 示例代码说明： [用于Reddit数据集] train_batch_multiRank_inductive_reddit_Mixlayers_sampleA.py is the final model. (precomputated the AH in the bottom layer) The original Reddit data should be transferred into the .npz format using this function: transferRedditDataFormat. Note: By default, this code does no sampling. To enable sampling, change `main(None)` at the bottom
图表示学习（Graph representation learning） (part2 and part3).zip
10-29
图表示学习，是2018年火爆全球的一个深度学习方向，从以Line, meta-path等为首的节点表示学习，到以GCN，GraphSAGE，为首的图卷积方法，在到近期的以GraphVAE为首的生成图模型，图表示学习方向的文章如过江之鲫。在昨天的AAAI 2019 Tutorial环节，来自Facebook AI Research 的 William Hamilton 和加拿大蒙特利尔算法研究所的Jian Tang 跟大家交流了图表示学习的当前进展。
网络表示学习_北京大学_2018SMP全国社会媒体处理大会
08-23
该文档是2018SMP全国社会媒体处理大会(哈尔冰)北京大学宋国杰老师的讲义网络表示学习，欢迎大学下载学习。
图表示学习经典方法——GCN＆GAE
学姐带你玩AI的博客
09-27 1690
未来的研究方向包括开展更加高效的图嵌入方法，解决大规模图数据上的图表示学习问题。早期的图表示学习方法主要是基于图遍历（Graph Traversal）的方法，例如随机游走（Random Walks）和基于网络传播（Network Propagation）的方法。GAE的目标是重建图数据，将节点特征作为输入，将其压缩为低维度的表示，然后解压缩得到重构的图。未来的研究应该聚焦于解决大规模图数据上的图表示学习问题和如何更好地融合不同尺度的信息，以及探索更广泛的应用。此外，还有一些其他的图表示学习方法，
GCN学习笔记
jijinglong1234的博客
09-17 722
GCN学习笔记欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markd...
图表示学习——MGGCN 19年记录
zhang_fu_guan的博客
10-29 665
论文题目 Geometric Matrix Completion with Recurrent Multi-Graph Neural Networks——NIPS2017 论文链接： https://proceedings.neurips.cc/paper/2017/file/2eace51d8f796d04991c831a07059758-Paper.pdfhttps://proceedings.neurips.cc/paper/2017/file/2eace51d8f796d04991c83.
[重读]FastGCN这篇文章 [没写呢]
qq_41764621的博客
10-26 273
他是一个layerwise的采样方式，他这么做的好处。【公式自己推一遍，人家的官方实现也看一看】
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值