GraphSage: Inductive representation learning on large graphs

GraphSage是一种用于大图的归纳节点表示学习算法,解决了GCN全局图依赖的问题。它通过采样和多层聚合函数,如均值、图卷积、LSTM和池化,学习节点嵌入。该模型适用于inductive任务,不需要全部样本进行训练。训练过程包括有监督和无监督方式,如交叉熵损失和负采样。GraphSage在性能上优于传统方法。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

背景

Hamilton W L, Ying R, Leskovec J. Inductive representation learning on large graphs[C]//Proceedings of the 31st International Conference on Neural Information Processing Systems. 2017: 1025-1035.

模型

GraphSage被提出\upcite{20}, 是一种在大图上基于归纳式子表示学习的算法。主要解决的问题可以被描述为:给定图,输入特征X\bf{X}X, 图G(V,E){\mathcal G}({\mathcal V},{\mathcal E})G(V,E),在GraphSage 中包含两种操作,一种是采样操作者,另外一种是聚合操作。在采样过程中,GraphSage依据节点之间的信息连接对当前节点的邻居节点进行采样操作。在使用聚合函数操作时,使用的是多层聚合函数。通过多层聚合函数,对相邻节点的信息进行融合。在GCN中,网络训练在每一层都需要依靠A^{\bf{\hat A}}A^,这表明GCN 依赖全局图的使用, 因此GraphSage 解决这一方面的问题。GraphSage 聚合的过程采用两层聚合的方式。在GCN中,使用全局图,和全部样本,这是一种Transductive任务。对于Inductive任务,训练模型不需要使用全部样本,因此GraphSage被用来解决这一方面的问题。
在这里插入图片描述
给定xv{{\bf{x}}_v}xv ,聚合层的领域节点定义为xv∈X{{\bf{x}}_v} \in {\bf{X}}xvX,非线性的激活函数表示为σ\sigmaσ ,可微分的聚合函数被表示为AGGk{\rm{AG}}{{\rm{G}}_k}AGGk,表示对第kkk个邻域进行聚合。每个邻域节点的聚合向量的更新表示为

hN(v)k=AGGk({huk−1,∀u∈N(v)}){\bf{h}}_{{\mathcal N}(v)}^k = {\rm{AG}}{{\rm{G}}_k}(\{ {\bf{h}}_u^{k - 1},\forall u \in {\mathcal N}(v)\} )hN(v)k=AGGk({huk1,uN(v)})

上述表明,在聚合第kkk个邻域时,当前节点的更新操作。向量的初始化hv0=xv{\bf{h}}_v^0 = {{\bf{x}}_v}hv0=xv
对于节点vvv的更新被表示为
hvk=σ(WkCAT(hvk−1,hN(v)k)){\bf{h}}_v^k = \sigma ({{\bf{W}}^{\bf{k}}}{\rm{CAT}}({\bf{h}}_v^{k - 1},{\bf{h}}_{{\mathcal N}(v)}^k))hvk=σ(WkCAT(hvk1,hN(v)k))
通过kkk次操作,并进行归一化操作后,可以得到最终关于节点vvv特征向量的表示。对于GraphSage, 提出四种聚合函数,第一种聚合函数是均值聚合函数,指对于当前节点vvv对应的邻域节点求均值操作。第二种聚合函数是图卷积神经网络聚合方式,指对于邻域节点和当前节点先进行拼接,然后再求均值操作并进行图卷积操作。第三种聚合方式是指LSTM (Long Short-Term Memory)。LSTM是一种序列模型,一般被用于序列任务,例如文本序列,时间序列,语音序列,可以很好的提取序列信息,因此被广泛的应用于各种领域。第四种聚合方式是池化聚合方式,通过全连接层将邻居节点的进行特征映射,然后进行池化操作。
GraphSage的训练方式包括有监督的方式和无监督的方式,有监督训练可以采用例如交叉熵损失等目标损失函数,无监督训练采用负采样的方式来进行训练。GraphSage通过采样和聚合函数学习单个节点的嵌入,并且性能优于一般基线的方法。

笔记

https://baijiahao.baidu.com/s?id=1672015491978890854&wfr=spider&for=pc

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值