盼小辉丶的博客

本节全面介绍了图神经网络 (Graph Neural Network, GNN) ，包括其在数据分析和机器学习中的重要性。首先探讨了图作为数据表示的相关概念及其在各个领域的广泛应用；然后深入探讨图学习的重要性，包括不同的应用和技术。最后，重点介绍了 GNN 架构，并对比了它与其他方法之间的原理和性能差异。

图论 (Graph theory) 是数学的一个基本分支，涉及对图研究。图是复杂数据结构的可视化表示，有助于理解不同实体之间的关系。图论提供了大量建模和分析现实问题的工具，如交通系统、社交网络和互联网等。在本节中，将介绍图论的基本原理，主要涉及三个方面：图属性、图概念和图算法。

DeepWalk 是机器学习技术在图数据中的成功应用之一，其引入了嵌入等重要概念，这些概念是图神经网络的核心。在本节中，我们了解了 DeepWalk 架构及其主要组件。然后，使用随机游走将图数据转化为序列，并应用了 Word2Vec 算法，使用图的拓扑信息创建节点嵌入，得到的嵌入结果可用于发现节点间的相似性，或作为其他算法的输入。最后，我们使用监督方法解决了节点分类问题。

Node2Vec 是一种基于 DeepWalk 的架构，DeepWalk 主要由随机游走和 Word2Vec 两个组件构成，Node2Vec 通过改进随机游走的生成方式改进嵌入质量。在本节中，我们将学习这些改进以及如何为给定的图找到最佳参数，实现 Node2Vec 架构，并将其与在 Zachary's Karate Club 数据集上使用的 DeepWalk 进行比较，以理解两种架构之间的差异。

Cora 和 Facebook Page-Page 是图神经网络领域中经常使用的两个基准图数据集，通常用来比较不同模型的性能。在本节中，介绍了如何使用 PyTorch Geometric 库提供的数据集类加载 Cora 和 Facebook Page-Page 数据集，并探索了两个数据集的主要特征。

图数据集通常比简单的连接集合更加丰富，因为节点和边可以具有表示分数、颜色、单词等特征。包含这些额外信息在输入数据中对于生成最佳嵌入至关重要。在本节中，我们将使用 Cora 和 Facebook Page-Page 数据集，首先将它们视为表格数据集，观察香草神经网络在节点特征上的表现如何。然后，尝试在神经网络中加入拓扑信息，实现图神经网络 (Graph Neural Networks, GNN) 架构：一个同时考虑节点特征和边的简单模型。最后，我们将比较两种架构的性能。

图卷积网络 (Graph Convolutional Network, GCN) 架构由 Kipf 和 Welling 于 2017 年提出，其理念是创建一种适用于图的高效卷积神经网络。在本节中，我们将讨论 Vanilla GNN 架构的局限性，并详细介绍 GCN 的工作原理，通过使用 PyTorch Geometric 在 Cora 和 Facebook Page-Page 数据集上实现 GCN 来验证其性能。

图注意力网络 (Graph Attention Networks, GAT) 是对图卷积网络 (Graph Convolutional Network, GCN) 的改进，提出了一种通过自注意力 (self-attention) 过程计算的加权因子，而不是使用静态的归一化系数。在本节中，我们介绍了 GAT 架构。通过从线性变换到多头注意力的四个主要步骤，了解了 GAT 的工作原理，并在 NumPy 中从零开始构建了 GAT 层。最后，将 GAT 模型应用于 Cora 和 CiteSeer 数据集。

本节介绍了 GraphSAGE 框架及其两个组成部分——邻居采样算法和三个不同的聚合算子，其中邻居采样是 GraphSAGE 能够高效处理大规模图的核心。并使用 PyTorch Geometric 构建 GraphSAGE 模型在 PubMed 数据集上执行节点分类，GraphSAGE 虽然准确率略低于 GCN 或 GAT 模型，但它是常用于处理大规模图数据的高效框架。

在本节中，我们将介绍图数据中的归纳学习和多标签分类，使用 GraphSAGE 模型在蛋白质相互作用 (protein-protein interactions) 数据集执行多标签分类任务，并了解归纳学习的优势和实现方法。

在本节中，我们定义了图神经网络 (Graph Neural Networks, GNN) 的表达能力，这一定义基于 WL 测试算法，它可以输出图的规范形式。虽然这种算法并不完美，但可以区分大多数图结构。

图同构网络 (Graph Isomorphism Network, GIN) 架构受 WL 测试启发而设计的，其表达能力与 WL 测试相近，因此在严格意义上比 GCN、GAT 或 GraphSAGE 更具表达能力。在本节中，将这一架构用于图分类任务，介绍了将节点嵌入融合到图嵌入中的不同方法，GIN 通过连接求和运算符和每个 GIN 层产生图嵌入，其性能明显优于通过 GCN 层获得的经典全局均值池化。最后，我们将两个模型的预测结果进行简单的集成，从而进一步提高了准确率。

链接预测 (Link prediction) 可以帮助我们理解和挖掘图中的关系，并在社交网络、推荐系统等领域提供更准确的预测和决策支持。为了解决链接预测问题，研究者们提出了多种方法。本节将介绍基于局部和全局邻域的启发式方法。

链接预测可以帮助我们发现隐藏的关联规律，从而为网络分析、推荐系统等问题提供有效的解决方案。在本节中，介绍了如何使用图神经网络 (Graph Neural Networks, GNN) 实现链接预测，学习了基于节点嵌入的链接预测技术，包括图自编码器 (Graph Autoencoder, GAE) 和变分图自编码器 (Variational Graph Autoencoder, VGAE)，并使用边级随机分割和负采样在 Cora 数据集上实现了 VGAE 模型。

链接预测是指利用图数据中已知的节点和边的信息，来推断图中未知的连接关系或者未来可能出现的连接关系，在机器学习和数据挖掘等领域具有广泛的应用。本节中介绍了用于链接预测的 SEAL 框架，其侧重于子图表示，每个链接周围的邻域作为预测链接概率的输入。并使用边级随机分割和负采样在 Cora 数据集上实现了`SEAL 模型执行链接预测任务。

图生成算法是指用于创建模拟图或网络结构的算法，这些算法可以根据特定的规则和概率分布生成具有特定属性的图，用于模拟各种复杂系统，如社交网络、生物网络、交通网络等。传统图生成技术已有数十年历史，并可用作各种应用的基准，但这些技术在生成的图类型上存在限制。这些方法大多数都专注于输出特定的拓扑结构，因此不能简单地模仿给定网络。在本节中，我们将介绍两种经典图生成技术：Erdős–Rényi 模型和小世界 (small-world) 模型。

图生成是生成新图的技术，并且希望所生成的图具有真实世界中图的性质。由于传统图生成方法缺乏表达能力，因此提出了更加灵活的基于图神经网络的技术。本节中，我们介绍了三类深度图生成模型： 基于变分自编码器的模型、基于自回归模型和基于生成对抗网络的模型。

消息传递神经网络 (Message Passing Neural Network, MPNN) 通过消息传播机制对多种图神经网络 (Graph Neural Networks, GNN) 模型做出了一般性总结。在本节中，我们介绍了 MPNN 框架，该框架通过信息、聚合和更新三个步骤统一了 GNN 层，同时介绍了如何在 PyTorch Geometric 中使用 MPNN 创建图卷积网络 (Graph Convolutional Network, GCN) 层。

异构图由不同类型的节点和边组成，可以表示实体之间的各种关系，这比单一类型的连接具有更高的表达能力。在本节中，我们将回顾关于同构图神经网络 (Graph Neural Networks, GNN) 与消息传递神经网络框架的相关概念，以扩展 GNN 架构适用于异构图。首先，我们将创建自定义异构数据集。然后，将同构架构转化为异构架构。

本节介绍了具有时空信息的图数据。这种时空成分在许多应用中都很有帮助，主要与时间序列预测有关。我们介绍了两种符合这种定义的图：静态图(特征随时间变化)和动态图(特征和拓扑结构会发生变化)。PyTorch Geometric Temporal 是 PyTorch Geometric 的扩展，专门用于处理时空图神经网络。此外，我们实现了 EvolveGCN 架构，该架构使用 GRU 或 LSTM 网络更新 GCN 参数。应用此架构执行 Web 流量预测，并且在有限的数据集上取得了出色的结果。

在本节中，我们探讨了应用于图神经网络 (Graph Neural Networks, GNN) 的可解释性人工智能 (Explainable Artificial Intelligence, XAI) 技术。可解释性是许多领域的关键要素，可以帮助我们建立更好的模型。我们介绍了不同的局部解释技术，并重点讨论了 GNNExplainer (基于扰动的方法)，在图分类任务中应用 GNNExplainer。

可解释性是许多深度学习领域的关键要素，可以帮助我们建立更好的模型，在本节中，我们介绍了积分梯度(基于梯度的方法)技术。使用 PyTorch Geometric 和 Captum 在 Twitch 数据集上实现了此方法，以获得节点分类的解释，最后对结果进行了可视化和讨论。

在本节中，我们探讨了如何使用图神经网络 (Graph Neural Networks, GNN) 检测 CIDDS-001 数据集中的异常流量。首先，对数据集进行预处理，并将其转换为图表示法，从而捕捉到网络不同组成部分之间的复杂关系。然后，利用 GraphSAGE 运算符实现异构 GNN。捕捉图的异构性，使我们能够将流量分为良性和恶意两种。GNN 在网络安全中已经得到了广泛应用，并为研究开辟了新的途径。随着技术的不断进步和网络数据量的增加，GNN 将成为检测和预防安全漏洞的重要工具。

本节详细介绍了如何使用 LightGCN 完成图书推荐任务。使用 "Book-Crossing" 数据集，对其进行了预处理以形成二部图，并使用 BPR 损失实现了 LightGCN 模型。对模型进行了训练，并使用 recall@20 和 ndcg@20 指标对其进行了评估。最后，通过为给定用户生成推荐来证明该模型的有效性。

本节重点讨论了使用 TGNN 进行交通预测任务。首先，我们介绍了 PeMS-M 数据集，并将其从表格数据转换为具有时间信号的静态图数据集。在实践中，我们根据输入距离矩阵创建了加权邻接矩阵，并将交通速度转换为时间序列。最后，我们构建了 A3T-GCN 模型，这是一个专为交通预测设计的 T-GNN 模型，并将结果与两个基线模型进行了比较，验证了模型的预测结果。

短短数年时间，图神经网络 (Graph Neural Networks, GNN) 已经成为一种重要的深度学习架构，并且已经广泛应用于各个行业。通过本专栏的学习，能够对图学习和 GNN 领域有一个全面的了解，并能为各种应用设计、构建GNN模型。

图结构可通过图形化方式直观呈现。节点通常用圆形表示，边则用连接线表示。然而当节点和边数量增加时，绘制清晰的图形表示可能会变得相当困难，这主要源于节点在二维坐标系中的布局问题。对于包含数百个节点的图，手动指定每个节点的坐标显然不切实际。在本节中，我们将介绍如何在不指定每个节点坐标的情况下绘制图形。我们将利用两种不同的解决方案：networkx 和 Gephi。

图论作为描述实体间关系的数学工具，在现代网络分析中扮演着重要角色。本节将系统性地介绍图的各种属性及其度量方法，这些指标能够从不同维度刻画网络的结构特征。我们将从基础概念出发，逐步深入探讨四大类图度量指标：整合性度量、分离性度量、中心性度量和弹性度量。

在电影推荐系统中，可以将每部电影视为一个节点，而节点之间的连接则表示电影之间的关联或相似性。Node2Vec 算法可以在电影图谱上学习出每部电影的向量表示，这些向量可以捕获电影之间的隐含关系，例如共同的演员、导演、类型等等。一旦得到了电影的向量表示，就可以使用这些表示来计算电影之间的相似度，并基于相似度来进行推荐。通过将用户喜欢的电影与其向量表示进行比较，系统可以推荐与之相似的其他电影。在本节中，构建基于 Node2Vec 的电影推荐系统。

在机器学习中，回归指的是对连续值的预测。通常与分类形成鲜明对比，分类的目标是找到正确的类别(即离散值，而非连续值)。在图数据中，分类和回归分别对应于节点分类和节点回归。在本节中，我们将尝试预测每个节点的连续值，而非分类变量。

molecular GAN (MolGAN) 模型结合了生成器、鉴别器和来自强化学习的奖励网络。这种架构不仅能简单地模仿训练过程中看到的图，还能优化所需的特性，如溶解性等，本节将使用 DeepChem 和 TensorFlow 创建独特而有效的分子。这类图生成模型在药物发现行业十分常见，可以大大加快药物开发的速度。

在本节中，我们将学习一种专门用于处理异构图的图神经网络架构，分层自注意力网络 (hierarchical self-attention network, HAN)。我们将介绍其工作原理，以便更好地理解该架构与经典图注意力网络之间的区别。最后，使用 PyTorch Geometric 实现此架构，并将结果与其它 GNN 模型进行比较。

在本节中，我们将探讨如何处理动态图，介绍一种为动态图设计的时空图神经网络架构 MPNN-LSTM，并将其应用于流行病预测，以预测英格兰不同地区 COVID-19 病例的数量。