【图神经网络-RGCN】关系图神经网络dgl版本实现

原创 已于 2023-08-03 10:48:49 修改 · 738 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#神经网络 #人工智能 #深度学习

于 2023-07-12 17:24:23 首次发布
本文主要探讨了R-GCN在深度学习中的应用，特别是通过DGL库的官方代码对entityclassification的实现进行了解读。同时，提到了参考文献[2]作为R-GCN的升级版本，以及异构图神经网络的入门资源——CompGCN的相关笔记，为读者提供了进一步研究的路径。
GNN-第三方库：DGL【图神经网络框架，支持对异构图的处理，开源相关异构图神经网络的代码，在GCMC、RGCN等业内知名的模型实现上也取得了很好的效果】
u013250861的博客
10-31 1479
DGL库的逻辑层使用了顶点域的处理方式，使代码更容易理解。同时，又在底层的内存和运行效率方面做了大量的工作，使得框架可以发挥出更好的性能。
详解【异质图卷积网络 RGCN】回顾：图神经网络问题的三大处理步骤 | 从起源说起，RGCN核心公式解释，两种降低模型参数量/优化的方式，附核心代码实现讲解
追光者♂：记录、分享、总结、提升，现象级专栏《Python从入门到人工智能》作者，无惧黑暗，坚信曙光
09-19 1040
本篇，我们深入分析和学习RGCN的原理以及为何要这么做。首先让我们来回顾对于图神经网络问题的三大处理步骤，可以说，这是该深度学习模型的基本理解，后续都是在深化其中的细节处理。然后以容易理解的方式，引出异质图卷积网络RGCN的由来，主要讲解其核心公式和论文中作者所提出的两种降低模型参数量/优化的处理办法，并给出基础分解以及块对角分解的核心实现代码讲解。最后附上RGCN源代码及说明。
【论文阅读】CompGCN（多关系GCN模型）__COMPOSITION-BASED MULTI-RELATIONAL GRAPH CONVOLUTIONAL NETWORKS
Danger的博客
04-21 1876
【论文阅读】CompGCN（多关系GCN模型）__COMPOSITION-BASED MULTI-RELATIONAL GRAPH CONVOLUTIONAL NETWORKS
biokg_rgcn
02-22
biokg_rgcn
三大图网络自学总结（GAT、GraphSAGE、GCN）+RGCN
weixin_44630230的博客
10-08 5481
此内容作为补充内容 图神经网络目的都是为了学习节点的embedding，其embedding能表示节点之间的关系 模型输入为 节点x特征表示，邻接矩阵A 输出为节点新的特征 一、GAT GAT模型提出了注意力机制，汇聚邻居节点时考虑不同的权重，适用于直推式和归纳式。 直推式：所有的节点和边都是已知的 归纳式：对未知的节点和边有学习能力，新加入的节点可以进行节点分类。 使用多头注意注意力机制 二、GraphSAGE 原文题目：大规模网络的归纳式学习 特点： 1.汇聚（aggreg.
异构图神经网络 RGCN、RGAT、HAN、GNN-FILM + PyG实现
热门推荐
yzsjwd的博客
08-11 1万+
RGCN、RGAT、GNN-FILM代码替换十分简单，训练代码完全不用动，只要改模型代码即可，完全可以三者都尝试效果，HAN慎用，效果太吃matapath的设置，训练时间还长，不值得。
RGCN - Modeling Relational Data with Graph Convolutional Networks 使用图卷积网络对关系数据进行建模 ESWC 2018
qq_40491207的博客
03-23 1950
此文章转载自：https://blog.youkuaiyun.com/yyl424525/article/details/102764903 ...
【图神经网络】使用DGL入门异构图神经网络
小哲的博客
11-23 3977
传统同构图（）数据中只存在一种节点和边，因此在构建图神经网络时所有节点共享同样的模型参数并且拥有同样维度的特征空间。而异构图（）中可以存在不只一种节点和边，因此允许不同类型的节点拥有不同维度的特征或属性。这一特点使得异构图的应用十分广泛。事实上，如果用图来描述我们和周围事物的关系就会发现所产生的图都是天然异构的。比如今天看了电影《流浪地球》，那“我”作为观众和电影《流浪地球》之间就建立了“看了”这一关系。异构图可以用来描述这种交互关系的集合。这个图分“观众”和“电影”两类节点，以及“看了”这一类边。
跟着官方文档学DGL框架第九天——训练图神经网络之边分类/回归
beilizhang的博客
12-26 4435
参考链接 https://docs.dgl.ai/en/latest/guide/training-edge.html#guide-training-edge-classification 回归问题与分类问题只是损失函数上的不同，模型和流程都是一样的。而获得边的预测值或者类别，可以通过融合端点的表示和边自身的表示来获得（在本节中没用上边的特征）。 同构图上的边回归任务 处理数据 使用“跟着官方文档学DGL框架第一天”中相同的构建方式，手工构建一个双向图。注：现在DGL推荐使用“dgl.graph()”的
跟着官方文档学DGL框架第十天——训练图神经网络之链接预测
beilizhang的博客
12-29 7770
参考链接 https://docs.dgl.ai/en/latest/guide/training-link.html#guide-training-link-prediction 概述 什么是链接预测 链接预测就是预测图中给定节点间是否存在边，常用于推荐系统。 形式化地，给定节点uuu和vvv，链接预测的任务就是得到它们间存在链接的概率yu,v=ϕ(u,v)y_{u,v}=\phi \left ( u,v\right )yu,v​=ϕ(u,v)。具体到GNN上，我们通过L层的GNN得到节点uuu和vv
跟着官方文档学DGL框架第十一天——训练图神经网络之整图分类（Graph Classification）
beilizhang的博客
12-29 5416
参考链接 https://docs.dgl.ai/en/latest/guide/training-graph.html#guide-training-graph-classification https://docs.dgl.ai/en/latest/generated/dgl.readout_nodes.html#dgl.readout_nodes https://docs.dgl.ai/en/latest/generated/dgl.readout_edges.html#dgl.readout_ed
《使用DGL训练大规模图神经网络》马超.pdf
06-18
图神经网络的实战文档，可以给该领域的初学者提供参考。图网络（Graph Network, GN）是在拓扑空间（topological space）内按图（graph）结构组织以进行关系推理（relational reasoning）的函数集合。在深度学习理论中是图神经网络（ graph neural network, GNN）和概率图模型（Probabilistic Graphical Model, PGM）的推广
图网络：从数据处理到DGL模型构建（GCN, GraphSAGE, RGCN）
褚骏逸的学习之路
08-03 8886
DGL异构图教程： https://docs.dgl.ai/tutorials/hetero/1_basics.html DGL v0.4 更新笔记： https://github.com/dmlc/dgl/releases DGL-KE代码及使用说明：训练知识图谱嵌入（Knowledge Graph Embedding）专用包 https://github.com/dmlc/dgl/tree/master/apps/kg DGL-Chem 模型库: 包括分子性质预测和分子结构生成等预训练模型。 https
开源图神经网络框架DGL升级：GCMC训练时间从1天缩到1小时，RGCN实现速度提升291倍...
量子位
10-15 1528
乾明 编辑整理量子位 报道 | 公众号 QbitAI又一个AI框架迎来升级。这次，是纽约大学、亚马逊联手推出图神经网络框架DGL。不仅全面上线了对异构图的支持，复现并开...
如何利用DGL官方库中的rgcn链接预测代码跑自己的数据集（如何在DGL库的链接预测数据集模块定义自己的数据集类）
想买很多漂亮衣服但是买不起的博客
11-22 4806
如何利用DGL官方库中的rgcn链接预测代码跑自己的数据集（如何在DGL库的链接预测数据集模块定义自己的数据集类）
使用DGL实现RGCN时报Assertion srcIndex ＜ srcSelectDimSize failed.的解决办法
qysh123的专栏
04-23 5339
这个问题在不同的framework上碰到过很多次了。我之前没有用过DGL实现过RGCN，简单看了一下网上的例子，按照这里： dgl.nn.pytorch.conv.relgraphconv — DGL 0.8.1 documentation 和GCN的区别就是forward中要输入一个表示edge类型的tensor，我就是因为这里的输入有点问题，所以才报错了。具体来说，看这里注释中的例子： dgl/relgraphconv.py at master · dmlc/dgl · GitHub 输入的te
【深度学习】R-GCN的dgl官方代码解读（entity classification）
逍遥鱼的博客
05-01 4452
rgcn官方dgl库实现，记录个人理解
【异构图笔记，篇章1】RGCN:Modeling Relational Data with Graph Convolutional Networks
xiaobaizaza_Ry的博客
02-24 8905
多关系异构图RGCN的相关笔记，适合快速理解RGCN，总结并概括了RGCN的优缺点。
RGCNN：用于点云分割的规则化图CNN
weixin_43525324的博客
08-22 2970
原创微博，转载请声明 paper：https://arxiv.org/abs/1806.02952v1 code：https://github.com/tegusi/RGCNN Regularized Graph CNN for Point Cloud Segmentation （作者北大和美图公司，得到了MSRA协作研究项目和阿里巴巴创新研究支持） 背景： 以前的点云分割工作可以分为模型驱动的分...
异构图神经网络的图结构怎么实现
最新发布
03-25
<think>好的，用户的问题是关于如何实现异构图神经网络的图结构。我需要结合提供的引用内容来回答这个问题。首先，要明确异构图是什么。根据引用[1]，异构图包含多种类型的节点和边，常见于推荐系统、学术网络和知识图谱。知识图谱作为异构图的一种，由实体和不同类型的关系组成，如引用[2]和[3]所述。 接下来，用户想知道如何实现这样的图结构。根据DGL库的示例，创建异构图需要定义不同的节点类型和边类型。例如，在推荐系统中，可以有用户和商品两种节点，以及点击和购买两种边。代码部分可能需要使用DGL的异构图接口，如dgl.heterograph，并传入对应的边类型字典。 然后，要考虑如何将这种结构应用于图神经网络。RGCN和GCMC是两种处理异构图的方法。RGCN通过关系特定的权重矩阵来处理不同边类型，而GCMC可能适用于矩阵补全任务，比如推荐系统。需要解释这些模型如何利用异构结构，例如RGCN的图卷积层如何为每种关系类型应用不同的卷积操作。 此外，知识图谱的特殊性可能需要额外的嵌入方法，如TransE或ComplEx，这些方法可以结合到图神经网络中，以提升表示学习的效果。引用[2]提到知识图谱的嵌入方法推动了图神经网络的发展，所以这部分内容也需要提及。 用户可能还需要了解实际应用中的步骤，比如数据准备、图构建、模型定义和训练。需要分步骤说明，并确保代码示例正确使用DGL库的API，比如定义异构图结构和实现RGCN层。同时，要指出不同应用场景下的调整方法，比如在知识图谱中处理多跳推理可能需要更复杂的模型结构。 最后，要生成相关问题，帮助用户进一步探索，比如性能优化、动态图处理等。确保引用正确，每个引用对应到相关的知识点，如引用[1]关于DGL的实现，引用[2]和[3]关于知识图谱的应用。</think>异构图神经网络（HGNN）的图结构实现需要结合多类型节点和边的特性进行建模，以下是关键实现方法及步骤： ### 一、异构图结构定义 1. **节点/边类型划分** - 定义异构图的节点类型集合：$V = \{v_1^{(t_1)}, v_2^{(t_2)}, ..., v_n^{(t_k)}\}$ - 定义边类型集合：$E = \{(s,r,o)|s,o \in V, r \in R\}$，其中$R$表示关系类型 - *示例代码（DGL库）*： ```python import dgl graph_data = { ('user', 'click', 'item'): [(0,1), (1,2)], ('user', 'purchase', 'item'): [(0,3), (2,4)], ('item', 'belongs_to', 'category'): [(3,5), (4,5)] } hg = dgl.heterograph(graph_data) ``` 2. **元路径建模** - 构建语义关联路径如$user \xrightarrow{purchase} item \xrightarrow{belongs\_to} category$ - 通过`dgl.metapath_reachable_graph`实现特定元路径子图提取 ### 二、核心实现技术 1. **关系图卷积网络（RGCN）** - 对每种关系类型独立计算消息传递： $$ h_i^{(l+1)} = \sigma\left(\sum_{r\in R}\sum_{j\in N_i^r}\frac{1}{c_{i,r}}W_r^{(l)}h_j^{(l)}\right) $$ - *DGL实现示例*： ```python import dgl.nn as dglnn class RGCNLayer(nn.Module): def __init__(self, in_feat, out_feat, rel_names): super().__init__() self.conv = dglnn.HeteroGraphConv({ rel: dglnn.GraphConv(in_feat, out_feat) for rel in rel_names }) ``` 2. **异构图注意力机制** - 为不同边类型分配注意力权重： $$ \alpha_{ij}^r = \frac{\exp(LeakyReLU(a_r^T[Wh_i||Wh_j]))}{\sum_{k\in N_i^r}\exp(LeakyReLU(a_r^T[Wh_i||Wh_k]))} $$ ### 三、知识图谱特殊处理 1. **嵌入方法融合** - 结合TransE等知识图谱嵌入方法： $$ f(h,r,t) = \|h + r - t\|_2^2 $$ - 将嵌入结果作为图神经网络的初始特征[^2] 2. **多跳推理实现** - 使用循环关系网络处理路径推理： ```python class RRNLayer(nn.Module): def forward(self, g, h, etype): with g.local_scope(): g.ndata['h'] = h g.update_all( dgl.function.copy_u('h', 'm'), dgl.function.mean('m', 'h_new'), etype=etype) return g.ndata['h_new'] ``` ### 四、典型应用实现 1. **推荐系统场景** - 构建用户-商品二分图 - 实现GCMC模型： ```python class GCMCLayer(nn.Module): def __init__(self, rating_vals): super().__init__() self.rating_vals = rating_vals self.agg_fns = nn.ModuleDict({ str(r): NeighborWeightedAverage() for r in rating_vals }) ``` 2. **动态异构图处理** - 使用时间编码处理图结构演化： $$ h_i^{(t)} = f(h_i^{(t-1)}, \Delta t) $$ ### 五、验证与优化 1. **异构图采样** - 使用邻居采样器平衡不同类型节点的采样比例： ```python sampler = dgl.dataloading.MultiLayerNeighborSampler( [{'click': 5, 'purchase':3}, {'click':3}]) ``` 2. **特征对齐** - 对不同类型节点特征进行维度投影： $$ W^{(t)} \in \mathbb{R}^{d_{in}\times d_{out}} \quad \text{for type } t $$ [^1]: DGL官方文档展示了使用`dgl.heterograph`构建异构图结构的基本方法 : 知识图谱嵌入方法为图神经网络提供有效的特征初始化 [^3]: 知识图谱的复杂推理需求推动了异构图神经网络的发展
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值