小哲的博客

简介：本文探讨了异构图神经网络中自监督学习的应用，特别是基于语义强度和特征相似度的对比学习技术。通过对比学习，模型能够从无标签数据中学习有用的特征表示，进而提升下游任务的性能。文章还提供了实例和清晰易懂的解释，帮助读者理解复杂的技术概念。​****​是处理具有多种类型节点和边的图数据的有效工具。在实际应用中，大量的图数据是无标签的，因此如何充分利用这些无标签数据成为了一个重要的问题。为解决这个问题提供了一种解决方案。

这里使用的图分类器和应用在图像或者语音上的分类器类似——先通过多层神经网络计算每个样本的表示（representation），再通过表示计算出每个类别的概率，最后通过向后传播计算梯度。通过图卷积（Graph Convolution）层获得图中每个节点的表示。使用「读出」操作（Readout）获得每张图的表示。使用 Softmax 计算每个类别的概率，使用向后传播更新参数。下图展示了整个流程：之后我们将分步讲解每一个步骤。

图论与图学习（1）：图的基本概念图（graph）近来正逐渐变成机器学习的一大核心领域，比如可以通过预测潜在的连接来理解社交网络的结构、检测欺诈、理解汽车租赁服务的消费者行为或进行实时推荐。近日，数据科学家 Maël Fabien 在其博客上发布了涉及图论、图算法和图学习的系列文章《图论与图学习》。本文是其中第一篇，介绍了图的一些基础知识并给出了 Python 示例。更多文章和对应代码可访问...

Open Graph Benchmark（OGB）是用于图机器学习的基准数据集、数据加载器和评估器的集合。数据集涵盖了各种图机器学习任务和现实世界中的应用程序。OGB数据加载器与流行的图深度学习框架完全兼容，包括PyTorch Geometric和Deep Graph Library（DGL）。它们提供自动数据集下载、标准化数据集拆分和统一的性能评估。

图嵌入（Graph Embedding）算法是一类用于将图中的节点或边转换为低维向量表示的技术。它通过学习节点或边之间的关系和结构信息，将复杂的图结构映射到一个连续的向量空间中。图嵌入算法在图分析、社交网络分析、推荐系统等领域具有广泛的应用。常见的图嵌入算法包括DeepWalk、Node2Vec、GraphSAGE、Graph2Vec等，它们使用了不同的策略和技术来捕捉图中的结构和语义信息。这些算法能够将图中的节点和边表示为稠密的低维向量，使得后续的机器学习和数据挖掘任务更加高效和有效。

在本博客文章中，我们将逐步介绍可解释性模块，详细说明框架的每个组件如何工作以及其作用。随后，我们将介绍各种解释评估方法和合成基准数据集，这些方法与数据集相辅相成，确保您为当前任务生成最佳的解释结果。接下来，我们将介绍一些可立即使用的可视化方法。最后，我们将详细介绍在PyG中实现自己的解释方法所需的步骤，并强调异构图和链接预测解释等高级用例的工作。

接上一篇博客，我们这里简单分析GNNExplainer源码，并用PyTorch Geometric手动实现。

图(Graph)是一种数据结构，能够很自然地建模现实场景中一组实体之间的复杂关系。在真实世界中，很多数据往往以图的形式出现, 例如社交网络、电商购物、蛋白质相互作用关系等。因此，近些年来使用智能化方式来建模分析图结构的研究越来越受到关注, 其中基于深度学习的图建模方法的图神经网络(Graph Neural Network, GNN), 因其出色的性能已广泛应用于社会科学、自然科学等多个领域。

图神经网络（Graph Neural Network）算法是将深度神经网络的运算(如卷积、梯度计算)与迭代图传播结合在一起：每个顶点的特征都是由其邻居顶点的特征结合一组深度神经网络来计算。

DeepWalk算法思想与 word2vec 类似，**从一个初始节点沿着图中的边随机游走一定的步数，将经过的节点序列视为句子。**那么，从不同的起点开始的不同游走路线就构成了不同的句子。当获取到足够数量的句子（节点访问序列）后，可以使用 skip-gram 模型对每个节点学习其向量表示。

图深度学习

本文尝试针对目前比较常见的动力学和网络重构的方法进行了梳理和概括，并针对几个常见的应用领域进行了介绍。随着大数据的发展和计算能力的进一步提升，这类重构方法将会得到更进一步的发展。这一领域的一个终极发展目标则是对复杂系统的自动建模。这样，我们在这些算法的帮助下对复杂系统的理解有可能完成巨大的飞跃。

图分类问题不仅是很多研究领域的基础问题, 而且有着广泛的应用, 具有重要的研究价值. 本文总结了近年来图分类领域的进展, 将现有图分类的方法分为基于相似度计算的图分类和基于神经网络的图分类两大类....

基于GNN的图分类学习研究综述[2]：基于图神经网络的图分类论文阅读：基于GNN的图分类学习研究综述3. 基于图神经网络的图分类3.1 卷积论文阅读：基于GNN的图分类学习研究综述摘要：本文首先给出图分类问题的定义和该领域的挑战；然后梳理分析了两类图分类方法——基于图相似度计算的图分类方法和基于图神经网络的图分类方法；接着给出了图分类方法的评价指标、常用数据集和实验结果对比；最后介绍了图分类常见的实际应用场景，展望了图分类领域的未来研究方向并对全文进行总结。关键词：图分类、图核、图卷积；图池化；图神

基于GNN的图分类学习研究综述论文阅读：基于GNN的图分类学习研究综述1. 图分类问题定义及挑战1.1 图分类问题与符号定义1.2 图分类中的问题与挑战2. 基于图相似度计算的图分类2.1 基于图核的图分类论文阅读：基于GNN的图分类学习研究综述摘要：本文首先给出图分类问题的定义和该领域的挑战；然后梳理分析了两类图分类方法——基于图相似度计算的图分类方法和基于图神经网络的图分类方法；接着给出了图分类方法的评价指标、常用数据集和实验结果对比；最后介绍了图分类常见的实际应用场景，展望了图分类领域的未来研究

GNN的应用：生物化学、交通、计算机图像、自然语言处理、点云数据PointNet， EdgeConv，推荐系统DGRec、视觉推理

本文主要就基于GNN的无监督图表示学习进行详解。在实际的应用场景中，大量的数据标签往往具有很高的获取门槛，研究如何对图数据进行高效的无监督表示学习具有十分重要的价值。

图神经网络GNN学习笔记：图分类1. 基于全局池化的图分类图分类问题是一个重要的图层面的学习任务，需要关注图数据的全局信息，包括图的结构信息以及各个节点的属性信息。给定多张图，以及每张图对应的标签，图分类任务需要通过学习得出一个由图到相应标签的图分类模型，重点在于如何通过学习得出一个优秀的全图表示向量。在图分类任务中实现层次化池化的机制，是GNN需要解决的基础问题。1. 基于全局池化的图分类...

所谓通用框架，是对多种变体GNN网络结构的一般化总结，也是GNN编程的通用范式，这里介绍3类通用框架：- `消息传播神经网络（Message Passing Neural Network, MPNN）`：从聚合和更新角度归纳GNN模型的几种变体；- `非局部神经网络（Non-Local Neural Network, NLNN）`：基于注意力机制的GNN模型的一般化总结；- `图网络（Graph Network, GN）`：对GNN模型进行更全面的总结

图神经网络GNN学习笔记：图注意力网络GAT图注意力网络简介注意力机制是什么？图注意力网络(Graph Attention Networks， GAT)，处理的是图结构数据。它通过注意力机制（Attention Mechanism）来对邻居节点做聚合操作，实现了对不同邻居权重的自适应分配，大大提高了图神经网络的表达能力。图注意力网络简介它与先前方法不同的是，它使用了masked self-attention层。原来的图卷积网络所存在的问题需要使用预先构建好的图。而在本文模型中，图中的每个节点可以根据邻

图神经网络GNN学习笔记：GraphSAGEGraphSAGE概述GraphSAGE算法原理采样邻居节点聚合邻居GraphSAGE算法过程参考资料GCN是一种在图中结合拓扑结构和顶点属性信息学习顶点的embedding表示的方法。然而GCN要求在一个确定的图中去学习顶点的embedding，无法直接泛化到在训练过程没有出现过的顶点，即属于一种直推式(transductive)的学习。GraphSAGE概述本文介绍的GraphSAGE则是一种能够利用顶点的属性信息高效产生未知顶点embedding的一种

本文首先介绍`GCN`与`CNN`的联系，然后阐述GCN对图数据进行端对端学习的机制，之后从低通滤波器的角度解释GCN对图学习能力的有效性，最后介绍GCN模型面临的问题——过平滑。

图神经网络GNN学习笔记：GCN实战目标：通过一个完整的示例学习如何通过GCN来对节点的进行分类。数据：使用的是Cora数据集，该数据集由2708篇论文，及它们之间的引用关系构成的5429条边组成。论文主题分为7类，分别是神经网络、强化学习、规则学习、概率方法、遗传算法、理论研究、案例相关。 每篇论文的特征是通过词袋模型得到的，维度为1433，每一维表示一个词，1表示该词再这篇文章中出现过，0表示未出现。相关信息：定义类CoraData类对数据进行预处理，主要包括：下载数据、规范化数据并进行缓存以备重

从空域和频域视角理解图滤波器，对图滤波器进行参数化，设计固定的图滤波器，定义图卷积层，引入图卷积神经网络

图神经网络GNN学习笔记：图信号处理与图卷积神经网络第五章：图信号处理与图卷积神经网络1. 矩阵乘法的三种方式2. 图信号与图的拉普拉斯矩阵3. 图傅里叶变换参考资料第五章：图信号处理与图卷积神经网络图信号处理（Graph Signal Processing, GSP）是离散信号处理（Discrete Signal Processing, DSP）理论在图信号领域的应用，其通过对傅里叶变换、滤波等信号处理基本概念的迁移，来研究对图信号的压缩、变换、重构等信号处理的基础任务。图信号处理与图卷积模型密切

图神经网络GNN学习笔记：表示学习1. 表示学习1.1 表示学习的意义1.2 离散表示与分布式表示1.3 端到端学习是一种强大的表示学习方法2. 基于重构损失的方法——自编码器2.1 自编码器2.2 正则自编码器2.2.1 去噪自编码器2.2.2 稀疏自编码器2.2.3 变分自编码器3. 基于对比损失的方法——Word2vec参考资料如果有一类方法可以自动地从数据中去学习“有用”的特征，并可以直接用于后续的具体任务，这类方法称为表示学习。1. 表示学习1.1 表示学习的意义传统机器学习中，需要在数据

图神经网络GNN学习笔记：卷积神经网络卷积神经网络1. 卷积与池化1.1 信号处理中的卷积卷积神经网络卷积神经网络（Convolutional Neural Network, CNN或ConvNet）是一种具有局部连接、权值共享等特点的深层前馈神经网络。在图像和视频分析领域，比如图像分类、目标检测、图像分割等各种视觉任务上取得了显著的效果，是目前应用最广泛的模型之一。1. 卷积与池化卷积与池化是卷积神经网络中两个核心操作，大多数的神经网络结构都是将它们进行组合而得到的。1.1 信号处理中的卷积卷

@TOC图神经网络就是将图数据和神经网络进行结合，在图数据上面进行端对端的计算。1. 机器学习基本概念1.1 机器学习的常见分类机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习有以下几种常见的分类方法：根据训练数据是否有标签可分为：监督学习：训练数据中每个样本都有标签，通过标签指导模型进行训练无监督学习：训练数据完全没有标签，算法从数据中发现约束关系，如数据之间的关联等，典型的无监督算法有如聚类算法半监督学习：训练数据又有有标签数据，又

度， 连通分量，图直径，度中心性，特征向量中心性，pagerank，HITS

@TOC简介： 近年来，图神经网络(GNN)在社交网络、知识图、推荐系统甚至生命科学等各个领域得到了越来越广泛的应用。GNN在对图节点之间依赖关系进行建模的强大功能，使得与图分析相关的研究领域取得了突破。本文介绍了图神经网络的基本原理，以及两种高级的算法，DeepWalk和GraphSage。图图神经网络DeepWalkGraphSage参考资料https://developer.aliyun.com/article/694432《深入浅出图神经网络：GNN原理解析》https://bl