GNN学习笔记

原创 已于 2023-08-25 14:14:49 修改 · 419 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#学习 #笔记 #图神经网络

于 2023-08-19 08:56:39 首次发布
本文介绍了图神经网络GNN的基础概念，包括其在推荐系统、欺诈检测等领域的应用。重点讲解了图卷积(GCN)的原理，以及如何通过图的邻接矩阵进行特征处理。还探讨了注意力机制在GNN中的作用和T-GNN在交通流量预测中的应用。推荐阅读相关论文以深入了解图向量嵌入和数据处理方法。

GNN

持续更新
实践程序放在了虚拟机里conda中NS环境里了
b站课程跳转------->>>>>
【不愧是公认最好的【图神经网络GNN/GCN教程】，从基础到进阶再到实战，一个合集全部到位！-人工智能/神经网络/图神经网络/深度学习。】 https://www.bilibili.com/video/BV1184y1x71H/?share_source=copy_web&vd_source=ad82400342f2b6e554e0db4400a9978f

实践应用：推荐算法，欺诈检测，交通道路，动态流量预测，知识图谱，自动驾驶，无人机场景，化学，医疗场景·····(有关系网的应用)

图的基本构成

在这里插入图片描述
图神经网络，但凡由关系的环境，都可以往这上面套。

图神经网络要做什么

在这里插入图片描述
ouput 就是对点做分类、做回归；对边做分类做回归。

图的邻接矩阵

在这里插入图片描述
在这里插入图片描述
图的临界矩阵思路的扩展👆
在这里插入图片描述
提出了图神经网络的问题，为什么会提出
对于正常的传统神经网络中，输入的格式一定是固定的！(图的输入格式比较随意)
GNN：输入数据不规则的时候，使用效果很好！

在后面的使用，大多的邻接矩阵的表达不是如上面图片中展示的N * N的，而是大概2*N的状态👇
在这里插入图片描述

图神经网络

在这里插入图片描述
考虑特征的时候，不光需要考虑自身的信息，还需要考虑邻居的信息。
在这里插入图片描述
上图的表示是求特征的一些方法，是一些思路，具体的操作需要自行选择。
在这里插入图片描述

每一次多加一层，临界矩阵和图的样子是不变的。但是特征的递归是加了一层， 以上图为例，当2被GNN层增加一层之后，2在返回给x1的特征的时候，已经包含了3，4的特征，所以GNN增加层数到一定程度，是能有Transformer的感觉的(每一个点的特征包含全局的感受事业)。
在这里插入图片描述
图神经网络可以概念性理解的基本功能👆

图卷积(GCN)

在这里插入图片描述
图卷积，图里就没有一个一个的框，只有相互的点的关系。在这里插入图片描述
图中，不算是完全的有监督学习。大多是半监督任务。
在这里插入图片描述
图神经网络的一种思路：通过图中的相关联的点，获得特征值，求平均，然后通过一个全链接网络，最后做一个输出(输出的维度由自己控制)。
在这里插入图片描述
一般见到的任务，图卷积的层数不需要特别高。
在这里插入图片描述
👆有临界矩阵(A)、特征矩阵(F)、度矩阵(D)。
为什么需要度矩阵呢？
在这里插入图片描述
在这里插入图片描述
从上面可以发现一些小问题，一个人认识的人越多，按道理他对于特征的认识就应该越稀释(一个点不可能保持多个人的特别详细的了解)。
在这里插入图片描述
在这里插入图片描述
以上的操作就是对矩阵进行了一个度的变换，可以说是归一化的变换！但是其中又有问题，左乘其实是对(A)行产生了归一化，但是对于列没有太大的影响。在这里插入图片描述
以上这个改变就解决了上述这个问题，既对列产生了修改，又对行产生了修改。在这里插入图片描述
以上的做法是一种幽默的解释，其实就是把加权变得更和谐一点(不会让值变得那么小)。

GCN中为什么要有左乘右乘

在这里插入图片描述
对于上面问题的具体理解，如果一个点的度很高，那么点的特征值不会很大。
在这里插入图片描述
GCN论文中给出的基本公式。
在这里插入图片描述
层数太多可能效果也不好。感受野太大也不是好事情。

视频中的数据集的制作流程：

在这里插入图片描述
在这里插入图片描述
上图中 前是指转换item_id之前的编号，后是指转换之后的编号

TopKPooling函数讲解

在这里插入图片描述
其中的tanh激活函数可以参考
双曲正切函数Tanh
在这里插入图片描述
电商项目GPU测试速度：
在这里插入图片描述
电商项目CPU测试速度：
在这里插入图片描述

Attention

在这里插入图片描述
上述为Graph种attention的表现
在这里插入图片描述
上图为1这个点的一个处理过程标亮(点的attention)
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
👆对临界矩阵进行特殊处理，等于把边特殊处理了。
在这里插入图片描述
👆最终完成的事情是得到新的特征向量h1_primer
α11,α12是通过图种下面部分的两个特征向量乘W然后内积获得的。

T-GNN

在这里插入图片描述
想让图关联起来,可以套用GNN。
在这里插入图片描述
👆应用领域
举例：交通流量检测
在这里插入图片描述
在这里插入图片描述
👆可以根据点的某个标签进行预测
在这里插入图片描述
👆每一个时刻都走一边GNN
在这里插入图片描述
GCN（graph convolutional network）
在这里插入图片描述

👆文章中对于此种类型的预测做法。

在这里插入图片描述
这篇论文建议读一下👆

在这里插入图片描述
把图做成一个向量
在这里插入图片描述
👆embedding做法
在这里插入图片描述
👆加入attention
在这里插入图片描述
黑色虚线前是正常的数据加权处理。

菜菜小堡
关注
GNN图神经网络工具箱的应用和MATLAB仿真
DevScribe的博客
09-07 1273
然后，我们定义了GCN模型的参数，包括隐藏层维度和输出层维度。通过以上的代码示例，我们展示了如何使用GNN图神经网络工具箱在MATLAB中构建、训练和评估GNN模型。当然，GNN图神经网络工具箱还提供了其他功能和工具，例如不同类型的GNN模型、图数据预处理函数等，可以根据具体的需求进行使用。总结起来，GNN图神经网络工具箱为MATLAB用户提供了方便易用的工具和函数，用于开发和应用GNN模型。希望本文能够帮助读者了解GNN图神经网络工具箱的应用和MATLAB仿真，并为进一步的研究和开发提供指导和参考。
GNN动手实践(一)：手把手带你实现GCN
LW的技术小筑
08-22 1万+
参考论文：Semi-Supervised Classification with Graph Convolutional Networks 一.前言 GCN（Graph Convolutional Network）即在图上进行卷积运算，与传统卷积的操作对象不同，GCN的卷积对象图是不规则的，例如每个结点周围的邻居结点数都是不定的。此外，图中各结点间不是互相独立的。图卷积通常需要借助图的结构信息来指导图中的消息聚合。GCN经过多年来的发展有了很多变体，今天要介绍的是Thomas N.Kipf和Max Well
什么是图神经网络？GNN/GCN快速入门教程
m0_74693860的博客
11-10 2966
很多书把图神经网络和卷积神经网络（CNN)，循环神经网络（RNN）并列。相对于CNN和RNN而言，GNN的发展比较短但是在很多领域都有很好的应用。因为图数据有复杂的结构，多样化的属性类型，可以模拟多种任务场景，比如社交网络，调控网络，生物分子结构等。
零基础多图详解图神经网络（GNN/GCN）【论文精读】
teletubbies的博客
01-05 2051
主要有三大类问题，一个是在图层面的，一个顶点层面，一个是边层面。图层面给我们一个图，我们对图进行分类。顶点层面：一个俱乐部的A和B老师决裂了，分成了两大派系，各个顶点是站队A还是站队B。边层面给一个图片，我们首先通过语义分割把图片里面的人物，背景都拿出来之后，然后这个人物之间是什么关系，顶点有了，我们主要学习顶点之间边的属性是什么。
GNN模型解释器：深度理解图神经网络的新工具
gitblog_00045的博客
04-12 664
![GNN-Model-Explainer](https://user-images.githubusercontent.com/100000926/52308674-c0db2c00-2a0f-11e9-99d2-d42df939f327.png) ## 项目简介 在上发现了一个名为的开源项目，它提供了一种可视化和解析图神经网络（Graph Neural Networks, GNN）模型的方...
图神经网络 GNN 学习笔记整理汇总 图神经网络 GNN 学习内容笔记记录 关于图神经网络 GNN 的学习笔记梳理 图神经网络 GNN 相关学习笔记汇编 图神经网络 GNN 学习过程笔记总结 图神经网
最新发布
08-15
图神经网络 GNN 学习笔记整理汇总 图神经网络 GNN 学习内容笔记记录 关于图神经网络 GNN 的学习笔记梳理 图神经网络 GNN 相关学习笔记汇编 图神经网络 GNN 学习过程笔记总结 图神经网络 GNN 系统学习笔记记录 图神经...
图形神经网络GNN学习笔记_ GNN_Learning.zip
10-03
图形神经网络（Graph Neural Network, GNN）是一种用于处理图结构数据的深度学习模型。近年来，随着深度学习技术的飞速发展...因此，一套系统的GNN学习笔记应当是理论与实践相结合的产物，为学习者提供全面的学习资源。
图神经网络GNN学习笔记
03-13
为了帮助初学者更好地掌握理论概念并应用于实践当中，“【GNN】图神经网络学习小结and笔记汇总”这份总结性的资料非常有价值。这里不仅包含了对核心算法原理详尽解释的文字描述，还有配套代码实现供读者参考学习[^2]...
GNN学习笔记（一）基本概念
HuaDing623的博客
07-14 561
图的基本概念、机器学习在图上的应用、GNN的一些基本概念
探索图神经网络的强大工具：ptgnn
gitblog_00778的博客
09-13 502
探索图神经网络的强大工具：ptgnn 项目介绍 ptgnn 是一个基于 PyTorch 的图神经网络（GNN）库，旨在为开发者提供一个高效、易用的平台来构建和训练图神经网络模型。无论你是研究者还是工程师，ptgnn 都能帮助你快速实现复杂的图数据处理任务。 项目技术分析 架构设计 ptgnn 的设计理念是模块化和高效性。它不仅提供了完整的图神经网络模型定义，还包含了数据处理、加载和张量化等任务的自...
秒懂图神经网络（GNN）
人工智能讲师分享前沿技术
04-23 1257
在这项任务中，GNN的目标是预测图中每个节点的类别标签。通过这种方式，GNN可以学习到图中的局部结构特征，这对于许多任务，如节点分类、图分类和链接预测等，都是非常重要的。GNN通过分析节点之间的交互模式和它们在图中的位置来预测潜在的联系，类似于根据一个人的朋友圈子来推测他可能结识的新朋友。例如，在社交网络中，人与人之间的友谊关系通过边来表示，每个个体（节点）的社交网络可能对个体的行为和特征产生影响。消息传递允许GNN捕捉图中的结构信息，因为节点的新状态不仅取决于自己的特征，还取决于其邻居的特征。
图神经网络研究综述(GNN)，非常详细收藏我这一篇就够了！
2401_84495872的博客
11-14 8759
针对图神经网络中直推式训练模型存在的局限性，GraphSage提出了基于节点的采样算法，通过随机采样一阶和二阶邻居以适应归纳式任务。PinSage提出了基于重要性的采样算法，并在节点聚合中进行重要性加权。VR-GCN关注采样算法的收敛性，通过减小梯度估计的偏置和方差来提高算法收敛性。LGCL从特征粒度进行筛选重组为新的节点进行聚合。图3 基于节点的采样算法。
Networkx图与网络工具包
qq_34399105的博客
04-18 1326
1.Networkx是什么？ 简单说一下，Networkx是一个构建网络和图的工具包，可以求解最短路问题，也可以求最大流，还可以专门用来画精美的网络图。这里我主要讲下Networkx构建图时，怎么用csv文件导入数据构建有权重的图。 2.构建一个图 from __future__ import print_function import networkx as nx import matplotl...
图神经网络入门与实战：从图嵌入(GE)到图神经网络(GNN)
简简单单的学习笔记，致力于帮助更多前进路上的朋友~
04-28 6467
图神经网络超全入门综述，从图->图嵌入->图神经网络->代码实战，参考文献都干货满满！
GNN 学习记录
负负得正的博客
05-19 994
共同的邻居的问题在于度数高的点对就会有更高的结果，Jaccard的系数是其归一化后的结果。缺点：这种方式的问题在于没有考虑两个点邻居的重合度（the degree of neighborhood overlap），如B-H有2个共同邻居，B-E和A-B都只有1个共同邻居。类似于SVM的核函数，定义好以后，通过核函数矩阵的映射，就可以按照之前的方式来处理了。由已知的节点去预测未知节点，称作半监督节点分类问题（训练时用到了未标记节点的特征）邻接矩阵的k次幂结果，每个元素就是对应点对之间长度为k的路径的条数。
SGL：可扩展图神经网络工具包，助力大规模图学习
gitblog_00145的博客
09-16 925
SGL：可扩展图神经网络工具包，助力大规模图学习 项目介绍 SGL（Scalable Graph Learning） 是一个专注于可扩展图学习的图神经网络（GNN）工具包。它旨在支持在超大规模数据集上进行深度图学习，使用户能够轻松实现可扩展的图神经网络，并在各种下游任务（如节点分类、节点聚类和链接预测）中评估其性能。此外，SGL 还支持基于 OpenBox 的自动神经架构搜索功能。SGL 由北京大...
图神经网络（GNN）模型原理及应用综述
热门推荐
Running Snail
04-16 13万+
从数据结构到算法：图网络方法初探 论文《Graph Neural Networks: A Review of Methods and Applications》 木牛马论文阅读笔记https://www.cnblogs.com/ydcode/p/11050417.html https://zhuanlan.zhihu.com/p/102994627?utm_source=wechat_session 文章目录图神经网络（Graph Neural Networks，GNN）1. GNN起源1.1 动..
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值