【图神经网络】图神经网络框架DGL1.0初体验

【复杂网络建模】——使用PyTorch和DGL库实现图神经网络进行链路预测 链路预测是指在一个给定的网络中,根据已有的网络结构信息,尝试预测两个节点之间是否存在连接或者可能会建立连接的概率。这在社交网络分析、生物信息学、推荐系统等领域中都有广泛的应用。在复杂网络中,链路预测可以帮助我们理解网络的演化过程、发现隐藏的关系和未知的连接,以及预测未来的网络演化趋势。 阅读详情

DGL 1.0: Empowering Graph Machine Learning For Everyone

DGL 1.0 总结了过去三年学术界或工业界对图深度学习和图神经网络(GNN)技术的各类需求。从最先进模型的学术研究到将 GNN 扩展到工业级应用,DGL 1.0 为所有用户提供全面且易用的解决方案,以更好的利用图机器学习的优势。
Different levels of user requests and what DGL 1.0 provides to fulfill them
DGL 1.0 为不同场景提供的解决方案。

DGL 1.0 采用分层和模块化的设计,以满足各种用户需求。本次发布的关键特性包括:

  • 100 多个开箱即用的 GNN 模型示例,15 多个在 Open Graph Benchmark(OGB)上排名靠前的基准模型;
  • 150 多个 GNN 常用模块,包括 GNN 层、数据集、图数据转换模块、图采样器等,可用于构建新的模型架构或基于 GNN 的解决方案;
  • 灵活高效的消息传递和稀疏矩阵抽象,用于开发新的 GNN 模块;
  • 多 GPU 和分布式训练能力,支持在百亿规模的图上进行训练。

DGL 1.0技术栈图如下:
DGL 1.0
DGL github 代码地址:https://github.com/dmlc/dgl

此版本的亮点之一是引入了DGL-Sparse,这是一个全新的编程接口,使用了稀疏矩阵作为核心的编程抽象。DGL-Sparse不仅可以简化现有的GNN模型(例如图卷积网络)的开发,而且还适用于最新的模型,包括基于扩散的GNN,超图神经网络和图Transformer。
DGL install

# If you have installed dgl-cuXX package, please uninstall it first.
pip install  dgl -f https://data.dgl.ai/wheels/cu113/repo.html
pip install  dglgo -f https://data.dgl.ai/wheels-test/repo.html

DGL中的两种GNN范式

DGL中包含两种主流的GNN范式,即消息传递视图(The Message Passing View)和矩阵视图(The Matrix View)。这些范式可以帮助研究人员更好地理解 GNN 的内部工作机制,而矩阵视角也是DGL Sparse开发的动机之一。

电影《降临》中有这么一句话:「你所使用的语言决定了你的思维方式,并影响了你对事物的看法。」这句话也适合GNN。

表示图神经网络有两种不同的范式:

  • 第一种称为消息传递视图,从细粒度、局部的角度表达 GNN 模型,详细描述如何沿边交换消息以及节点状态如何进行相应的更新。
  • 第二种是矩阵视角,由于图与稀疏邻接矩阵具有代数等价性,许多研究人员选择从粗粒度、全局的角度来表达 GNN 模型,强调涉及稀疏邻接矩阵和特征向量的操作。

消息传递视角和矩阵视角
消息传递视角揭示了 GNN 与 Weisfeiler Lehman (WL)图同构测试之间的联系,后者也依赖于从邻居聚合信息。而矩阵视角则从代数角度来理解 GNN,引发了一些有趣的发现,比如过度平滑问题。

总之,这两种视角都是研究 GNN 不可或缺的工具,它们互相补充,帮助研究人员更好地理解和描述 GNN 模型的本质和特性。正是基于这个原因,DGL 1.0 发布的主要动机之一就是在已有的消息传递接口基础之上,增加对于矩阵视角的支持。

DGL Sparse:为图机器学习设计的稀疏矩阵库

DGL 1.0 版本中新增了一个名为 DGL Sparse 的库(dgl.sparse),它和 DGL 中的消息传递接口一起,完善了对于全类型的图神经网络模型的支持。DGL Sparse 提供专门用于 图机器学习的稀疏矩阵类和操作,使得在矩阵视角下编写 GNN 变得更加容易。在下一节中,作者演示多个 GNN 示例,展示它们在 DGL Sparse 中的数学公式和相应的代码实现。

图卷积网络(Graph Convolutional Network)

GCN 是 GNN 建模的先驱之一。GCN 可以同时用消息传递视图和矩阵视图来表示。下面的代码比较了 DGL 中用这两种方法实现的区别。
Graph Convolution Network
1)DGL message passing functions

class GCNLayer(nn.Module):
    ...
   
    def forward(self, g, X):
        g.ndata['X'] = X
        g.ndata['deg'] = g.in_degrees().float()
        g.update_all(self.message, fn.sum('m', 'X_neigh'))
        X_neigh = g.ndata['X_neigh']
        return F.relu(self.W(X_neigh))
    
    def message(self, edges):
        c_ij = (edges.src['deg'] * edges.dst['deg']) ** -0.5
        return {'m' : edges.src['X'] * c_ij}

2)DGL sparse matrix package

import dgl.sparse as dglsp  # DGL 1.0 sparse matrix package

class GCNLayer(nn.Module):
    ...
    
    def forward(self, A, X):
        D_invsqrt = dglsp.diag(A.sum(1)) ** -0.5
        A_norm = D_invsqrt @ A @ D_invsqrt
        return F.relu(self.W(A_norm @ X))

基于图扩散的GNN

图扩散是沿边传播或平滑节点特征或信号的过程。PageRank 等许多经典图算法都属于这一类。一系列研究表明,将图扩散与神经网络相结合是增强模型预测有效且高效的方法。下面的等式描述了其中比较有代表性的模型 APPNP 的核心计算。它可以直接在 DGL Sparse 中实现。
基于图扩散的GNN

class APPNP(nn.Module):
    ...

    def forward(self, A, X):
        Z_0 = Z = self.f_theta(X)
        for _ in range(self.num_hops):
            A_drop = dglsp.val_like(A, self.A_dropout(A.val))
            Z = (1 - self.alpha) * A_drop @ Z + self.alpha * Z_0
        return Z

超图神经网络

超图是图的推广,其中边可以连接任意数量的节点(称为超边)。超图在需要捕获高阶关系的场景中特别有用,例如电子商务平台中的共同购买行为,或引文网络中的共同作者等。超图的典型特征是其稀疏的关联矩阵,因此超图神经网络 (HGNN) 通常使用稀疏矩阵定义。以下是超图卷积网络(Feng et al., 2018)和其代码实现。
超图神经网络

class HypergraphConv(nn.Module):
    ...

    def forward(self, H, X):
        d_V = H.sum(1)  # node degree
        d_E = H.sum(0)  # edge degree
        n_edges = d_E.shape[0]
        D_V_invsqrt = dglsp.diag(d_V**-0.5)  # D_V ** (-1/2)
        D_E_inv = dglsp.diag(d_E**-1)  # D_E ** (-1)
        W = dglsp.identity((n_edges, n_edges))
        L = D_V_invsqrt @ H @ W @ D_E_inv @ H.T @ D_V_invsqrt
        return self.Theta(L @ X)

图 Transformer

Transformer 模型已经成为自然语言处理中最成功的模型架构。研究人员也开始将 Transformer 扩展到图机器学习。Dwivedi 等人开创性地提出将所有多头注意力限制为图中连接的节点对。通过 DGL Sparse 工具,只需 10 行代码即可轻松实现该模型。
图Transformer

class GraphMHA(nn.Module):
    ...

    def forward(self, A, h):
        N = len(h)
        q = self.q_proj(h).reshape(N, self.head_dim, self.num_heads)
        q *= self.scaling
        k = self.k_proj(h).reshape(N, self.head_dim, self.num_heads)
        v = self.v_proj(h).reshape(N, self.head_dim, self.num_heads)

        attn = dglsp.bsddmm(A, q, k.transpose(1, 0))  # [N, N, nh]
        attn = attn.softmax()
        out = dglsp.bspmm(attn, v)

        return self.out_proj(out.reshape(N, -1))

DGL Sparse 的关键特性

相比scipy.sparse 或torch.sparse等稀疏矩阵库,DGL Sparse 的整体设计是为图机器学习服务,其中包括了以下关键特性:

  • 自动稀疏格式选择:DGL Sparse 的设计让用户不必为了选择正确的数据结构存储稀疏矩阵(也称为稀疏格式)而烦恼。用户只需要记住 dgl.sparse.spmatrix 创建稀疏矩阵,而 DGL 在内部则会根据调用的算子来自动选择最优格式;
  • 标量或矢量非零元素:很多 GNN 模型会在边上学习多个权重(如 Graph Transformer 示例中演示的多头注意力向量)。为了适应这种情况,DGL Sparse 允许非零元素具有向量形状,并扩展了常见的稀疏操作,例如稀疏 - 稠密 - 矩阵乘法(SpMM)等。可以参考 Graph Transformer 示例中的 bspmm 操作。

通过利用这些设计特性,与之前使用消息传递接口的矩阵视图模型的实现相比,DGL Sparse 将代码长度平均降低了 2.7 倍。简化的代码还使框架的开销减少 43%。此外DGL Sparse 与 PyTorch 兼容,可以轻松与 PyTorch 生态系统中的各种工具和包集成。

接下来,我们将正式开始使用DGL 1.0。可以使用 pip 或 conda 轻松安装。除了前面介绍的示例之外,DGL Sparse 的第一个版本还包括 5 个教程和 11 个端到端示例,所有教程都可以在 Google Colab 中直接体验,无需本地安装。

内容来源

  1. https://www.dgl.ai/release/2023/02/20/release.html
  2. https://mp.weixin.qq.com/s/DmjpGfBjytZZYKVnEC50Hw
图神经网络(一)DGL框架搭建GCN图卷积神经网络模型 一、DGL DGL是基于pytorch开发的一个专门用于图神经网络模型搭建的框架,到现在为止,DGL已经高度封装了如GCN、GraphSage、GAT等常见的图神经网络模型,可以直接调用,比较方便,当然针对非常想挑战自己的编程能力又或者非常想从更底层的角度去学习图神经网络,建议直接看pytorch搭建的模型。 DGL的安装和使用可以看看这里,一般是先安装pytorch再安装DGL,不然容易出错,图神经网络框架DGL使用记录。 关于DGL各种详细的API和相关使用案例,请参考官方文档, DGL官方文档。 二、 阅读详情

相关推荐

DGL的图数据结构的创建、图的特征、dgl.batch及一些理解

文章目录前言一、创建图1.dgl.graph((u, v))2.dgl.graph((tuple)...)二、理解图1.边和节点的特征赋值与查看2.图的一些属性或方法3.DGL中的Batch 前言 dgl是图神经网络构建的工具。官方文档:https://docs.dgl.ai/guide_cn/graph-basic.html#guide-cn-graph-basic有中文的文档,很贴心。 一、创建图 1.dgl.graph((u, v)) 我只说一下我目前用过的方式,还有许多方式可以看官方文档。 imp

学习笔记 9429

DGL官方教程--图卷积神经网络(GCN)

Graph Convolutional Network Author: , Minjie Wang, Yu Gai, Quan Gan, Zheng Zhang 这是使用DGL实施图卷积网络的简要介绍(Kipf & Welling et al., Semi-Supervised Classification with Graph Convolutional Networks)。我们以DG...

weixin_45613751的博客 1万+

图神经网络开源框架DGL

图神经网络开源框架DGL 还有另外一个开源框架PyTorch Geometric, 在这里不做详细介绍,有兴趣的同学自己去了解一下,个人推荐DGL,简单易用,扩展性好。 1. 使用教程 1.1 pip安装 pip install dgl # For CPU Build pip install dgl-cu90 # For CUDA 9.0 Build pip in...

ZSCDumin的博客 2334

【Pytorch神经网络理论篇】 27 图神经网络DGL库:简介+安装+卸载+数据集+PYG库+NetWorkx库

DGL库是由纽约大学和亚马逊联手推出的图神经网络框架,支持对异构图的处理,开源相关异构图神经网络的代码,在GCMC、RGCN等业内知名的模型实现上也取得了很好的效果。 1 DGL库的实现与性能 实现GNN并不容易,因为它需要在不规则数据上实现较高的GPU吞吐量。 1.1 DGL库简介 DGL库的逻辑层使用了顶点域的处理方式,使代码更容易理解。同时,又在底层的内存和运行效率方面做了大量的工作,使得框架可以发挥出更好的性能。 1.2 DGL库特点 GCMC:DGL的内存优化支...

小李的研究生学习日记 1万+

图神经网络开源框架DGL学习

图神经网络开源框架DGL学习 还有另外一个开源框架PyTorch Geometric, 在这里不做详细介绍,有兴趣的同学自己去了解一下,个人推荐DGL,简单易用,扩展性好。 个人公众号 ...

ZSCDumin的博客 1707

DGL:深度图学习框架

DGL:深度图学习框架 作者:禅与计算机程序设计艺术 1. 背景介绍 1.1 图数据与深度学习的兴起 近年来,深度学习在计算机视觉、自然语言处理等领域取得了巨大成功,其强大的特征提取和表示能力令人瞩目。与此同时,图数据作为一种描

AI天才研究院 1087

图神经网络框架DGL学习——101(入门)

图神经网络框架DGL学习——101 关于DGL DGL是一个主流的开源的图神经网络,支持tensorflow, torch等语言,用的较多的是torch。具体介绍,请见官方主页:https://docs.dgl.ai/index.html 101(入门) 图神经网络的几个关键流程: 1.图的构建 2.特征传递给边或者节点 3.图神经网络模型的构建 4.模型训练 5.模型可视化 DGL可以帮助我们更快的建立一个图神经网络,主要体现在图的构建、特征赋予节点/边、自带各类图神经网络层、可视化上。以下是官方文档的入

wufeil7的博客 3651

适配adv7280m相机到rk3588的安卓平台

Kernel-5.10/arch/arm64/configs/firefly_defconfig里面增加配置CONFIG_VIDEO_ADV7180=y。出现一次开不了机器的情况,接调试口发现,在set_fmt里面用s_ctrl对mipi的频率进行设置会出现异常。设备树修改kernel-5.10/arch/arm64/boot/dts/rockchip/13.dts。把MEDIA_ENT_F_ATV_DECODER改回MEDIA_ENT_F_CAM_SENSOR。第二次编译,仅仅刷新boot.img。

chenyq14的专栏 2449

【图神经网络】使用DGL框架实现简单图分类任务

这里使用的图分类器和应用在图像或者语音上的分类器类似——先通过多层神经网络计算每个样本的表示(representation),再通过表示计算出每个类别的概率,最后通过向后传播计算梯度。通过图卷积(Graph Convolution)层获得图中每个节点的表示。使用「读出」操作(Readout)获得每张图的表示。使用 Softmax 计算每个类别的概率,使用向后传播更新参数。下图展示了整个流程:之后我们将分步讲解每一个步骤。

小哲的博客 3202

保姆级教程:用CameraX API快速搞定Android多摄像头切换与预览(附避坑指南)

本文提供了一份详细的CameraX API教程,帮助开发者快速实现Android多摄像头切换与预览功能。通过简化API设计和生命周期感知能力,CameraX大幅降低了开发复杂度,同时解决了多摄像头兼容性、预览优化等常见问题。文章包含完整代码示例和实战避坑指南,特别适合需要高效集成相机功能的Android开发者。

weixin_42699679的博客 167

从零到一:基于Blazor和Elsa Workflows的工作流系统开发实战

本文详细介绍了如何利用Blazor和Elsa Workflows构建高效的工作流系统,从技术选型到生产环境部署,涵盖动态工作流建模、Blazor前端集成及性能优化等核心内容。通过实战案例,展示如何实现订单处理系统的自动化与灵活性,提升企业流程效率。

weixin_26875109的博客 431

图神经网络库DGL的基础操作

DGL基本操作 创建一个图 读,写,点和边的表示 Graph Creation 创建一个networkx图 networkx的图可以转化为DGL的图 DGL的图可以转化为networkx的图 创建一个petersen_graph petersen graph : 它是Petersen提出的一种简单的连通图,它一般画作五边形中包含有五角星的造型。Petersen图的同构多种多样,形态各异,共...

机器会学习的博客 1万+

std::map看来可以被淘汰了?可以用vector来替代,而且更好

vector的优势在于内存连续,可以先std::sort,然后std::lower_bound,或者std::binary_search。而std::map,insert的时候,需要new出内存。

tumu_C的博客 1021

图神经网络框架DGL学习 102——图、节点、边及其特征赋值

101(入门)以后就是开始具体逐项学习图神经网络的各个细节。下面介绍: 1.如何构建图 2.将特征赋给节点或者边,及查询方法 这算是图神经网络最基础最基础的部分了。 一、如何构建图 DGL中创建的图的方法有: 1. 通过(u, v),u和v分别为起始节点和终止节点的列表,可以是numpy矩阵也可以是tensor 2. scipy中的稀疏矩阵,该稀疏矩阵储存这图的邻接矩阵 3. networkx图对象转化 4. 逐步添加节点与边 先导入所有可能需要的模块 import networkx as nx impor

wufeil7的博客 8157

华为昇腾服务器npu中安装paddle,pytorch等环境,训练代码迁移适配等问题记录

参考文档:https://github.com/PaddlePaddle/PaddleCustomDevice/blob/develop/backends/npu/README_cn.md

qq_29220369的博客 4115

第3.1.3章 机器人第三方库实战总结:ROS 2 入门实战及和ROS1的对比,打通机器人开发的任督二脉

本文针对机器人SLAM开发中第三方库的学习痛点,重点介绍ROS 2在SLAM中的应用。文章首先对比ROS 1与ROS 2的核心差异,梳理ROS 2知识图谱,包括节点、话题、服务等核心概念。通过实战项目演示如何构建激光SLAM节点,结合代码详解运行流程。最后给出学习建议,强调动手实践的重要性,帮助开发者快速掌握ROS 2在SLAM开发中的关键应用。

行知SLAM 183

基于DGL库图神经网络教程(1)——基本的建图操作

最近接触了图神经网络,感觉这个玩意可以提供多粒度视角。在对研究对象进行抽象后,既可以对节点进行分类,也可以对边进行分类,还可以对图整体进行分类。 图神经网络这种结构就提供一种多粒度描述特定对象的能力。想想还是蛮不错的啊。 所以就搞搞图神经网络。 目前来看图神经网络的理论学习路线有: 图论基本知识。这个很熟,不用学。 线性代数,尤其是傅里叶变换的矩阵形式。这个只要回去看看书就行,我看了图卷积网络的理论基础,其实就是傅里叶变换矩阵形式的应用,这个在矩阵分析课已经很常见了,不算什么新知识点。但是要接触图神经网络

jmhIcoding 8641

基于STM32L4XX、HAL库的MP2672GD-0000-Z充电芯片驱动程序设计

CHG_STAT_GPIO_Port, CHG_STAT_Pin, // 这些宏应由 CubeMX 生成在 main.h。

zhusl6688的博客 498

图神经网络框架DGL教程-第1章:图

第1章:图 图表示实体(节点)和它们的关系(边),其中节点和边可以是有类型的 (例如,"用户" 和 "物品" 是两种不同类型的节点)。 DGL通过其核心数据结构 DGLGraph 提供了一个以图为中心的编程抽象。 DGLGraph 提供了接口以处理图的结构、节点/边 的特征,以及使用这些组件可以执行的计算。 1.1 关于图的基本概念 图是用以表示实体及其关系的结构,记为 G=(V,E)G=(V,E)G=(V,E) 。图由两个集合组成,一是节点的集合 VVV ,一个是边的集合 EEE 。 在边集 EEE 中,

test 2290

S7-1500 PLC与多台S7-200SMART PLC进行PROFINET通信的快捷方法

S7-1500 PLC与多台S7-200SMART PLC进行PROFINET通信的快捷方法

Robot_PLC_HMI_Automation 5701

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

DGL图神经网络库使用大全

图表示实体(节点)和它们的关系(边),其中节点和边可以是有类型的 (例如,“用户” 和 “物品” 是两种不同类型的节点)。 DGL通过其核心数据结构 DGLGraph 提供了一个以图为中心的编程抽象。 DGLGraph 提供了接口以处理图的结构、节点/边 的特征,以及使用这些组件可以执行的计算。本章首先简要介绍了图的定义(见1.1节),然后介绍了一些 DGLGraph 相关的核心概念:1.1 关于图的基本概念1.2 图、节点和边1.3 节点和边的特征1.4 从外部源创建图1.5 异构图1.6 在GPU上使用

sinat_38007523的博客 4374

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

深入解析DGL:图神经网络的强大开源利器

DGL(Deep Graph Library)是一个专为图深度学习设计的开源框架,支持PyTorch、TensorFlow等主流深度学习后端。它提供了高效的图计算能力、丰富的GNN模型实现(如GCN、GAT等)以及分布式训练支持,特别适合处理社交网络、分子结构、知识图谱等图数据任务。DGL通过优化消息传递机制和稀疏矩阵运算,能高效处理大规模图数据,同时保持简洁的API设计。文章还展示了DGL在实际应用中的代码示例,包括节点分类、异构图处理等场景,并提供了安装和快速入门指南。

deploycodefast的博客 1656

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

DGL1.0

2019 年,纽约大学、亚马逊云科技联手推出图神经网络框架 DGL (Deep Graph Library)。如今 DGL 1.0 正式发布!DGL 1.0 总结了过去三年学术界或工业界对图深度学习和图神经网络(GNN)技术的各类需求。从最先进模型的学术研究到将 GNN 扩展到工业级应用,DGL 1.0 为所有用户提供全面...

weixin_41475268的博客 149

图神经网络框架DGL使用记录

最近跟着导师学图神经网络,开始看论文搭模型跑代码,用的DGL框架,一开始不舒服被坑的有点惨,特此记录一下使用情况,避免其他学习的同学踩坑。 一、关于安装 一定先安装pytorch再安装dgl,因为dgl是依赖于pytorch,也不一定说你颠倒安装顺序就一定不对,但是可能容易出现一些包找不到的问题。 二、关于cpu和gpu pip install dgl 这样默认安装的是cpu版本,没法调用GPU运算,安装GPU版本需要 pip install dgl-cu102 pip install dgl-cu100

weixin_43918046的博客 4151

【DGL教程】第1章 图(Graph)

Deep Graph Library (DGL)是一个用于构建图神经网络模型的框架 网址:https://www.dgl.ai/ 官方文档:https://docs.dgl.ai/ 论坛:https://discuss.dgl.ai/ 安装 CPU版本:pip install dgl CUDA 10.2:pip install dgl-cu102 DGL支持PyTorch, MXNet和TensorFlow三种后端,默认为PyTorch,可在~/.dgl/config.json中配置 本章官方文档:ht

zzy979481894的博客 4691

图神经网络DGL库安装教程

图神经网络DGL库详细安装教程

Fengbin Ma's Blog 4165
上一篇: 【Python】如何使用Pandas进行数据可视化?
下一篇: 【生物信息】生物信息中High-Order高阶关系研究论文集锦(1)
镰刀韭菜
博客等级 码龄12年 2万+粉丝 860原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

镰刀韭菜

看在我不断努力的份上,支持我吧

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值