【图神经网络】邻居采样算法

原创 已于 2023-08-08 16:27:55 修改 · 1k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#神经网络 #人工智能 #深度学习

于 2023-08-08 11:38:01 首次发布
本文介绍了在处理大规模图时，针对节点爆炸问题的解决方案，包括使用dgl的sample_neighbors函数、graphSAGE、PyG中的邻居采样方法，以及Shadow-GNN和带有多跳邻居聚合的KnowledgeGraphAlignmentNetwork等先进技术。
图神经网络学习笔记-通过邻居采样扩展GNNs（专题六）
12-03 434
图神经网络（GNNs）面临的一个挑战是如何将其扩展到大规模图数据中，例如在工业和社交应用中。传统的深度神经网络通过将训练损失分解为单独的样本（称为小批量）并以随机方式近似计算梯度，已知在大数据上能够良好扩展。相比之下，在GNN中应用随机小批量训练存在挑战，因为给定节点的嵌入递归地依赖于所有邻居的嵌入，这导致节点之间的高依赖性，且这种依赖性随着层数的增加呈指数增长。这个现象通常被称为“邻居爆炸”。作为一种简单的解决方法，GNN通常以全批量方式执行（参见此处示例），即GNN可以访问所有层中所有隐藏节点的表示。
图学习笔记（七）：图神经网络算法（二）——图采样、邻居聚合
Wangzx的博客
02-01 2949
图学习笔记（七）：图神经网络算法（二）——图采样图采样1. 为什么要图采样？图采样的原因：MiniBatch训练2. 什么是图采样？3. 图采样算法详解（GraphSAGE、PinSAGE）GraphSAGE (SAmple & aggreGatE)邻居采样算法邻居采样算法的优点：PinSAGE：根据邻居节点重要性进行聚合的算法。 图采样 1. 为什么要图采样？ 图采样的原因： 如果图很大，需要进行“图采样”。 权图规模太大，当代的GPU/CPU资源受限，无法一次性全图送入计算资源（难以将整张图放
百度图神经网络学习——day04：图神经网络算法（二）
weixin_45325331的博客
11-27 1732
文章目录一、图采样1.GraphSAGE2.PinSAGE二、邻居聚合1.GIN模型的聚合函数2.其他复杂的聚合函数三、编程实现1.GraphSage采样函数实现2.GraphSage聚合函数实现 一、图采样 在图神经网络中，使用的数据集可能是亿量级的数据，而由于GPU/CPU资源有限无法一次性全图送入计算资源，需要借鉴深度学习中的mini-batch思想。 传统的深度学习mini-batch训练每个batch的样本之间无依赖，多层样本计算量固定；而在图神经网络中，每个batch中的节点之间互相依赖，在计算
图像采样方法
CHNguoshiwushuang的博客
06-27 9355
最邻近插值（Nearest Neighbour Resampling)    这种插值方法根据源图像和目标图像之间的相对位置来将目标图像上像素确定为相对源图像上相对位置的像素值，对于任意一幅源图像来说，假设放大后目标图像的宽为Dw高为Dh,任意目标像素点(Dx, Dy)在源图像上的位置为: Sx=Dx∗(Sh/Dh)//rowSx=Dx∗(Sh/Dh)//row Sx= Dx * (Sh/Dh...
【邻居采样】重要性采样
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
05-30 1358
文章转自：https://blog.youkuaiyun.com/u011332699/article/details/74298555 看了好多篇关于采样，重要性采样的文章，很多都有公式与概念的错误，这篇真是最良心的一篇，从头到尾没有发现错误，而且讲得深入浅出，通俗易懂。 引子 最近开始拾起来看一些NLP相关的东...
图卷积网络概述笔记
木木JL的博客
10-23 1120
图卷积网络概述笔记谱方法空间方法 开一个博客把听的基础概念给记录下来，随笔瞎记呗 谱方法 不像图像中的卷积操作和空间方法，谱方法在谱域定义卷积操作，把图变换到谱域进行卷积之后再变换到图域。 给定无向图G=(V,E,W)，点集V（n=|V|)，边集E，权重集W∈Rn×nW \in R^{n \times n}W∈Rn×n，每个节点如果有d维特征，所有节点的特征矩阵就是X∈Rn×dX \in R^{n \times d}X∈Rn×d 图的拉普拉斯矩阵：L=D-W，D是度矩阵Dii=∑jWij\boldsymbo
课节5:图神经网络算法（二）：图采样
SimonChen
12-23 2482
从上图变化到下图 上图右边的例子，对节点进行一个随机的采样，结果采样到的节点是互不相连的（特别是在图规模很大的时候，随机采样出来的节点很有可能是孤立的），然而这种孤立的点是不符合GNN的要求的。（即一个节点的表示是由其领居进行表示的） 两种图采样算法：GraphSAGE ...
图神经网络算法
qq_41901860的博客
11-29 2232
图神经网络@TOC 图神经网络算法 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客： 全新的界面设计 ，将会带来全新的写作体验； 在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示； 增加了
图神经网络实战（15）——SEAL链接预测算法
最新发布
盼小辉丶的博客
06-26 6209
链接预测是指利用图数据中已知的节点和边的信息，来推断图中未知的连接关系或者未来可能出现的连接关系，在机器学习和数据挖掘等领域具有广泛的应用。本节中介绍了用于链接预测的 SEAL 框架，其侧重于子图表示，每个链接周围的邻域作为预测链接概率的输入。并使用边级随机分割和负采样在 Cora 数据集上实现了`SEAL 模型执行链接预测任务。
图神经网络笔记(三)
堕甑不顾
12-15 674
图采样 一、为什么要图采样 在传统的深度学习中，单batch为若干个样本，且样本之间无依赖，多层样本计算量固定。 但是在图神经网络中，单batch为若干个节点，且节点之间相互依赖，多层节点计算量爆炸。（每层计算都要聚合当前节点的邻居节点信息，层数增加以后需要计算的节点回随着层数的增加呈指数趋势增长） 二、什么是图采样 对图进行子图采样而不是随机采样。 （一个节点的标识由它的邻居决定） 三、图采样算法详解 1.GraphSAGE 1）邻居采样 优点： 极大的减少训练计算量 允许泛化到新连接关系 2）邻居
B.特定领域知识图谱知识推理方案[二]：基于自监督图谱表征算法升级[特征交叉、邻居采样修正、生成学习、对比学习等]
丨汀、的博客
03-13 370
KARI v2是一个图谱算法框架，内含大量最新图谱算法，包括transformer、idgnn、对比学习、生成学习等等；算法能力升级（相比较于KARI），正负样本采样、特征预处理、图结构预处理、编码器、解码器都做了明显的升级；
业界分享 | 百度图神经网络实践
Kaiyuan_sjtu的博客
02-22 1363
作者|黄正杰来源|DataFunTalk图是一个复杂世界的通用语言，社交网络中人与人之间的连接、蛋白质分子、推荐系统中用户与物品之间的连接等等，都可以使用图来表达。图神经网络将神...
图神经网络基础知识——初识图学习
zbp_12138的博客
11-25 6264
初识图学习一、简单的图基础什么是图？生活中的图图的分类同构图、异构图举例图的度和邻居图的表示邻接矩阵邻接表边集图的特征二、图学习初印象图学习的应用节点级别任务金融诈骗检测自动驾驶边级别任务推荐系统图级别任务气味识别图学习算法分类图游走类算法图神经网络算法三、PGL 图学习库初体验1. 环境安装2. 使用 PGL 来创建一张图3. 定义图模型4. 模型定义5. 训练前准备6. 开始训练7. 模型测试 一、简单的图基础 在上一篇文章中，我整理了数据结构与算法中的图，讲解了与图有关的基本概念。 这里再做一个小小的
GNN教程：GAT算法（考虑邻居重要性）
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
01-16 5664
转载 目录 大纲 图注意力机制的类型 1. 学习注意力权重（使用a） 2. 基于相似性的注意力（直接cos计算） 3. 注意力引导的游走法（RNN） 后话 参考 大纲 本文为GNN教程的第四篇文章 【GAT网络】，在前几篇博文中，我们讨论了基本的图神经网络算法GCN, 使用采样和聚合构建的inductive learning框架GraphSAGE, 然而图结构数据常常含有噪声，意味着节点与节点之间的边有时不是那么可靠，邻居的相对重要性也有差异，解决这个问题的方式是在图算法中引入“注意力”
在工业界落地的PinSAGE图卷积算法原理及源码学习（二）采样
IntegerList的博客
04-14 879
这一部分是PinSAGE算法最重要的一块，主要包括正负样本采样，PinSAGE采样
（dgl的使用）查看节点的邻居
qq_43391414的博客
06-06 1263
根据图g，查看节点的邻居，可以统一使用采样包，为什么呢？因为当采样数量为-1的时候，表示采样该节点所有邻居，那么也就是查看节点的邻居。其中fanout填-1就行，这个参数表示采样多少个邻居节点的意思。
【GNN】采样算法总结
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
08-15 3728
背景： 许多领域的数据都可以自然地表达成图结构，比如社交网络、蛋白质相互作用网、化学分子图和3D点云等。这些图数据的复杂性对现有的机器学习算法提出了重大挑战。近几年图卷积网络（GCN）把深度学习中卷积神经网络的思想用到图的学习上，在点分类、边预测以及推荐系统上都取得了非常好的效果。 在GCN中，为了得到根节点的表达，需要从它上一层的邻居节点里收集信息。然后同样的，这些邻居节点也需要再从他们上一层的邻居节点里收集信息。这样随着层数的加深，需要计算的多跳邻居数量就会指数级上升。这种“邻居数量指数增加”的问题
飞桨图神经网络心得
weixin_44887311的博客
11-28 290
一、图采样 在图神经网络中，使用的数据集可能是亿量级的数据，而由于GPU/CPU资源有限无法一次性全图送入计算资源，需要借鉴深度学习中的mini-batch思想。 传统的深度学习mini-batch训练每个batch的样本之间无依赖，多层样本计算量固定；而在图神经网络中，每个batch中的节点之间互相依赖，在计算多层时会导致计算量爆炸，因此引入了图采样的概念。 图采样算法：顾名思义，图采样算法就是在一张图中进行采样得到一个子图，这里的采样并不是随机采样，而是采取一些策略。典型的图采样算法包括GraphSAG
dgl框架实现graphsage代码流程梳理
mydoubts的博客
04-14 4963
代码git地址：https://github.com/dmlc/dgl/blob/master/examples/pytorch/graphsage/train_sampling.py dgl在最近的4月份更新的0.4.3版本中增加了dgl.sampling.sample_neighbors的模块，用来采样邻居节点，之前的版本里面实现的graphsage没有做采样，这里记录一下实现的代码过程，对一...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值