weixin_43360025的博客

【论文阅读】A Hybrid Model Integrating Local and Global Spatial Correlation for Traffic Prediction[一种融合局部和全局空间相关性的交通预测混合模型]（5）5. Discussion（讨论）6. Concluaion（结论）

论文阅读】A Hybrid Model Integrating Local and Global Spatial Correlation for Traffic Prediction[一种融合局部和全局空间相关性的交通预测混合模型]（4）4. Experiments（实验）

【论文阅读】A Hybrid Model Integrating Local and Global Spatial Correlation for Traffic Prediction[一种融合局部和全局空间相关性的交通预测混合模型]（3）3. Methodology（方法）

【论文阅读】A Hybrid Model Integrating Local and Global Spatial Correlation for Traffic Prediction[一种融合局部和全局空间相关性的交通预测混合模型]（2）2. Related Work（相关工作）Abstract

【论文阅读】A Hybrid Model Integrating Local and Global Spatial Correlation for Traffic Prediction[一种融合局部和全局空间相关性的交通预测混合模型]（1）Abstract1. Introduction

【论文阅读】Attention Based Spatial-Temporal Graph Convolutional Networks for Traffic Flow Forecasting[基于注意力的时空图卷积网络交通流预测]（4） 5. Experiments（实验）6. Conclusion and Future Work（结论与未来工作）

【论文阅读】Attention Based Spatial-Temporal GCN...Traffic Flow Forecasting[基于注意力的时空图卷积网络交通流预测]（3）Attention Based Spatial-Temporal Graph Convolutional Networks（基于注意力的时空图卷积网络）

【论文阅读】Attention Based Spatial-Temporal Graph Convolutional Networks for Traffic Flow Forecasting[基于注意力的时空图卷积网络交通流预测]（2）3.Preliminaries（准备工作）原文地址：https://ojs.aaai.org/index.php/AAAI/article/view/3881原文代码地址：https://github.com/ wanhuaiyu/ASTGCN3.Prelimina

形象展示傅里叶变换以及其数学描述

【论文阅读】Attention Based Spatial-Temporal Graph Convolutional Networks for Traffic Flow Forecasting[基于注意力的时空图卷积网络交通流预测]（1）1.Introduction（介绍）2.Related work（相关工作）参考文献Attention Based Spatial-Temporal Graph Convolutional Networks for Traffic Flow Forecasting基于注

【论文阅读】Spatio-Temporal Graph Convolutional Networks: A Deep Learning Framework for Traffic Forecasting[时空图卷积网络: 用于交通预测的深度学习框架]（5）5. Related Works（相关工作）6. Conclusion and Future Work（结论与未来的工作）参考文献原文地址：https://transport.ckcest.cn/Search/get/298151?db=cats_hui

【论文阅读】Spatio-Temporal Graph Convolutional Networks: A Deep Learning Framework for Traffic Forecasting[时空图卷积网络: 用于交通预测的深度学习框架]（4）4. Experiments（实验）4.1 Dataset Description（数据集描述）4.2 Data Preprocessing（数据预处理）4.3 Experimental Settings（实验设置）4.4 Experiment Resul

【论文阅读】Spatio-Temporal Graph Convolutional Networks: A Deep Learning Framework for Traffic Forecasting[时空图卷积网络: 用于交通预测的深度学习框架]（3）3. Proposed Model（模型）3.1 Network Architecture（网络结构）3.2 Graph CNNs for Extracting Spatial Features（用于提取空间特征的图CNN）3.3 Gated CNNs f

【论文阅读】Spatio-Temporal Graph Convolutional Networks: A Deep Learning Framework for Traffic Forecasting[时空图卷积网络: 用于交通预测的深度学习框架]（2）2. Preliminary（初步工作）2.1 Traffic Prediction on Road Graphs（道路图的交通预测）2. Preliminary（初步工作）2.1 Traffic Prediction on Road Graphs（道

【论文阅读】Spatio-Temporal Graph Convolutional Networks: A Deep Learning Framework for Traffic Forecasting[时空图卷积网络:用于交通预测的深度学习框架]（1）0. Abstract1. Introduction（介绍）Spatio-Temporal Graph Convolutional Networks: A Deep Learning Framework for Traffic Forecasting时空

图神经网络（六）GNN的应用简介（3）GNN的未来展望6.3 GNN的未来展望1.充分适应复杂多变的图数据2.在更多推理任务上的应用于学习机制的研究改进3.对超大规模图建模的支持参考文献6.3 GNN的未来展望 作为一种新兴的神经网络技术，GNN\text{GNN}GNN 的快速发展离不开近些年深度学习在各方面的重要积淀。而与 GNN\text{GNN}GNN 的结合，可以助力深度学习系统拓展其在更广领域、更多层面的场景任务中获得成功。我们非常确信在未来几年，GNN\text{GNN}GNN 会在越来越

图神经网络（六）GNN的应用简介（2）3D视觉6.2 GNN的应用案例6.2.1 3D视觉6.2.2 基于社交网络的推荐系统6.2.3 视觉推理6.2 GNN的应用案例 本节将从3D视觉、基于社交网络的推荐系统、视觉推理3个方面介绍GNN的应用案例，希望借由这3个应用场景能够为大家深入而具体地展示GNN的技术特点及优势。6.2.1 3D视觉 继卷积神经网络在2D视觉上获得前所未有的成功之后，近几年，如何让计算机理解3D世界，特别是如何延续深度学习技术在3D视觉问题上的表现受到了越来越多的研究人员的

图神经网络（六）GNN的应用简介（1）GNN的应用简述第6章 GNN的应用简介6.1 GNN的应用简述参考文献第6章 GNN的应用简介 由于图数据具有及其广泛的使用场景，GNN这项技术的相关应用近年来也得到了长足发展。本章就以GNN的应用来阐述其研究现状与未来趋势 [0] 。 6.1节对GNN的应用做出了一个概括性的简述；6.2节以3个具体的应用案例来说明GNN的相关优势；6.3节我们对GNN研究的未来展望进行讨论。6.1 GNN的应用简述 GNN的适用范围非常广泛，既可以处理具有显式关联结构的

图神经网络（五）基于GNN的图表示学习（4）基于图自编码器的推荐系统实战代码基于图自编码器的推荐系统实战代码代码说明autoencoder.pydataset.pymain.py运行结果基于图自编码器的推荐系统实战代码代码说明 本次实验是在 Pycharm 上完成，将以下Python文件代码导入即可，如下图所示，然后直接运行即可。autoencoder.pyimport torchimport torch.nn as nnimport torch.nn.functional as Fim

图神经网络（五）基于GNN的图表示学习（3）基于图自编码器的推荐系统5.3 基于图自编码器的推荐系统参考文献5.3 基于图自编码器的推荐系统 下面讲解一个基于图自编码器实现简单的推荐任务 [14] 的例子。推荐系统要建立的是用户与商品之间的关系，这里我们以简化后的用户对商品的评分为例进行介绍，如图5-5。假设用户与商品之间的交互行为只存在评分，分值从 111 分到 555 分。如果用户 uuu 对商品 vvv 进行评分，评分为 rrr ，就是说用户 uuu 与商品 vvv 之间存在一条边，边的类型为 r

图神经网络（五）基于GNN的图表示学习（2）基于GNN的图表示学习5.2 基于GNN的图表示学习5.2.1 基于重构损失的GNN1.推断模型2.生成模型3.损失函数5.2 基于GNN的图表示学习 凭借强大的端对端学习能力，GNN这类模型可以非常友好地支持有监督的学习方式。但是GNN本身作为一种重要的对图数据进行表示学习的框架，只要与相应的无监督损失函数结合起来就能实现无监督图表示学习。无监督学习的主体在于损失函数的设计，这里我们分两类损失函数分别进行介绍：基于重构损失的GNN和基于对比损失的GNN。

图神经网络（五）基于GNN的图表示学习（1）图表示学习第五章 基于GNN的图表示学习5.1 图表示学习参考文献第五章 基于GNN的图表示学习 图数据有着复杂的结构、多样化的属性类型，以及多层面的学习任务，要想充分利用图数据的优势，就需要一种高效的图数据表示方法。与表示学习在数据学习中的重要位置一样，图表示学习也成了图学习领域中十分热门的研究课题 [0] 。 作为近几年深度学习的新兴领域，GNN在多个图数据的相关任务上都取得了不俗的成绩，这也显示出了其强大的表示学习能力。毫无疑问，GNN的出现给图表示学

图神经网络（四）图分类（4）图分类实战完整代码完整代码代码说明SetUp功能函数定义D&D数据Model定义GraphConvolutionReadOut实现基于自注意力机制的池化层模型一：SAGPool Global Model模型二：SAGPool Hierarchical Model训练&测试运行结果完整代码代码说明这里使用Jupyter Notebook来完成代码的实现，只需导包然后按照步骤运行即可。SetUp!pip install --verbose --no-cac

图神经网络（四）图分类（3）图分类实战4.3 图分类实战4.3 图分类实战 本节我们通过代码来实现基于 自注意力的池化机制（Self-Attention Pooling）。这种方法的思路是通过图卷积从图中自适应地学习到节点的重要性。[0] 具体来说，使用第1章中定义的图卷积方式，可以为每个节点赋予一个重要性分数，如下式所示：Z=σ(D~−1/2A~D~−1/2XΘatt)Z=σ(\tilde{D}^{-1/2}\tilde{A}\tilde{D}^{-1/2}XΘ_{att})Z=σ(D~−1/2A~

图神经网络（四）图分类（2）基于层次池化的图分类4.2 基于层次化池化的图分类4.2.1 基于图坍缩的池化机制1.图坍缩2.DIFFPOOL3.EigenPooling（1）图坍缩（2）池化操作4.2.2 基于TopK的池化机制4.2.3 基于边收缩收缩的池化机制4.2 基于层次化池化的图分类 本节以3中不同的思路介绍能够实现数据层次化池化的方案 [0] 。 （1）基于 图坍缩（Graph Coarsening）的池化机制：图坍缩是将图划分成不同的子图，然后将子图视为超级节点，从而形成一个坍缩的图。这

图神经网络（四）图分类（1）基于全局池化的图分类第四章 图分类8.1 基于全局池化的图分类参考文献第四章 图分类 图分类问题是一个很重要的图层面的学习任务。与节点层面的任务不同，图分类需要关注图数据的全局信息，既包含图的结构信息，也包含各个节点的属性信息。给定多张图，以及每张图对应的标签，图分类任务需要通过学习得出一个由图到相应标签的图分类模型，模型的重点在于如何通过学习得出一个优秀的全图表示向量 [0] 。 图分类任务与视觉图像中的分类任务一样，二者都需要对全局的信息进行融合学习。在CNN模型中，通

图神经网络（三）GCN的变体与框架（6）GraphSAGE实战完整代码完整代码代码说明完整代码代码说明1.新建文件夹，将如下代码文件创建，如下图所示；2.下载数据，下载地址为；3.新建data/cora文件夹，将下载好的数据放入其中，如下图所示；4.直接运行main.py即可。data.pyimport osimport os.path as ospimport pickleimport numpy as npimport itertoolsimport scipy.spars

图神经网络（三）GCN的变体与框架（5）GraphSAGE实战3.5 GraphSAGE实战3.5 GraphSAGE实战 本节我们通过代码来介绍GraphSAGE以加深读者对相关知识的理解。如3.1节所介绍的，GraphSAGE包括两个方面，一是对于邻居的采样；二是对邻居的聚合操作 [0] 。 首先来看下对邻居的采样方法，为了实现更高效地采样，可以将节点及其邻居存放在一起，即维护一个节点与其邻居对应关系的表。我们可以通过两个函数sampling和multihop_sampling来实现采样的具体操作

图神经网络（三）GCN的变体与框架（4）GNN的通用框架3.4 GNN的通用框架3.4.1 MPNN3.4.2 NLNN1.内积2.全连接3.高斯函数3.4.3 GN参考文献3.4 GNN的通用框架 在介绍完GNN的集中变体后，本节我们来看看GNN的通用框架。所谓通用框架，是对多种变体GNN网络结构的一般化总结，也是GNN变成的通用范式，研究它能够帮助我们更加清晰地横向对比各类GNN模型，同时也为GNN模型的灵活拓展提供了方向。 下面我们介绍3类通用框架：消息传播神经网络（Message Passin

图神经网络（三）GCN的变体与框架（3）R-GCN3.3 R-GCN3.3.1 知识图谱3.3.2 R-GCN参考文献3.3 R-GCN 在之前介绍的所有GNN的变体模型中，都没有显式地考虑节点之间关系的不同，相较于同构图，现实生活中的图数据往往是异构的，即图里面存在不止一种类型的关系。本节要介绍的R-GCN就是将图卷积神经网络拓展到这种场景的图数据中去 [0] 。3.3.1 知识图谱 一种最典型的包含多种关系的图数据就是知识图谱（Knowledge Graph）。知识图谱是一种规模非常庞大的语义网

图神经网络（三）GCN的变体与框架（2）GAT3.2 GAT3.2.1 注意力机制3.2.2 图注意力层3.2.3 多头图注意力层参考文献3.2 GAT 本节要 介绍的是图注意力网络（Graph Attention Network，GAT）[6] ，它通过注意力机制（Attention Mechanism）来对邻居节点做聚合操作，实现了对不同邻居权重的自适应分配，从而大大提高了图神经网络模型的表达能力 [0] 。3.2.1 注意力机制 DNN中的注意力机制是受到认知科学中人类对信息处理机制的启发而产

图神经网络（三）GCN的变体与框架（1）GraphSAGE3.1 GraphSAGE3.1.1 采样邻居 作为深度学习与图数据结合的代表性方法，GCN的出现带动了将神经网络技术运用于图数据的学习任务中去的一大类方法，为了给出一个涵盖更广范围的定义，一般我们统称这类方法为图神经网络，即Graph Neural Networks（GNN）[0] 。 在之前的章节我们提到从空域视角看GCN，本质上就是一个迭代式的聚合邻居的过程，这启发了一大类模型对于这种聚合操作的重新设计，这些设计在某方面大大加强了GNN对于

图神经网络（二）GCN的性质（4）GCN的问题——过平滑1. 频域视角 引文 [7] [8] 都指出了GCN模型无法像视觉任务中的CNN模型一样堆叠很深，一旦使用多层GCN进行学习，相关的任务效果就会急剧下降。这使得在某些场景中，GCN的学习能力将非常有限。 在引文 [1] 中，作者在Cora数据集上做了一个实验，直观地展示了多层GCN所遇到的这个问题，如图2-11所示。图2-11 GCN效果随层数增加而发生的变化 图2-11是Cora数据集分别经过一个1至5层的GCN节点的表示向量的散点图，数据的

【论文阅读】Learning Traffic as Images: A Deep Convolutional Neural Network for Large-Scale Transportation Network Speed Prediction [将交通作为图像学习: 用于大规模交通网络速度预测的深度卷积神经网络]（3）3. Empirical study（实验研究）3.1. Data Description（数据描述）3.2 Time-Space Image Generation（时空图像生成）3.

【论文阅读】Learning Traffic as Images: A Deep Convolutional Neural Network for Large-Scale Transportation Network Speed Prediction [将交通作为图像学习: 用于大规模交通网络速度预测的深度卷积神经网络]（2）2. Methods2.1. Converting Network Traffic to Images（网络流量转化为图像）2.2. CNN for Network Traffic P

【论文阅读】Learning Traffic as Images: A Deep Convolutional Neural Network for Large-Scale Transportation Network Speed Prediction [将交通作为图像学习: 用于大规模交通网络速度预测的深度卷积神经网络]（1）Learning Traffic as Images: A Deep Convolutional Neural Network for Large-Scale Transportat

图神经网络（二）GCN的性质（3）GCN是一个低通滤波器 在图的半监督学习任务中，通常会在相应的损失函数里面增加一个正则项，该正则项需要保证相邻节点之间的类别信息趋于一致，一般情况下，我们选用拉普拉斯矩阵的二次型作为正则约束：L=L0+Lreg,Lreg=∑eij∈EAij∥f(xi)−f(xj)∥2=f(X)TLf(x)L=L_0+L_\text{reg},L_\text{reg}=∑_{e_{ij}∈E}A_{ij}\Vert f(x_i )-f(x_j)\Vert^2 =f(X)^\text{T}

图神经网络（二）GCN的性质（2）GCN能够对图数据进行端对端学习 近几年，随着深度学习的发展，端对端学习变得越来越重要，人们普遍认为，深度学习的成功离不开端对端学习的作用机制。端对端学习实现了一种自动化地从数据中进行高效学习的机制。然而，端对端学习的这种高度自动化的特性的达成，往往离不开背后大量的针对特定类型数据的学习任务的适配工作，，这种适配体现在当下十分流行的各种网络层或层块结构（block）的设计上，比如我们熟知的Conv2D层对于图像数据学习、LSTM层对于序列数据的学习、Global Pool

图神经网络（二）GCN的性质（1）GCN与CNN的联系GCN与CNN的联系1.图像是一种特殊的图数据2.从网络连接方式来看，二者都是局部连接3.二者卷积核的权重是处处共享的4.从模型的层面来看，感受域随着卷积层的增加而变大第二章 GCN的性质 本章通过对GCN的一些性质的集中解读来加深我们对于GCN的理解。在2.1节中，我们介绍了同为卷积模型的GCN与CNN的联系，从中可以看到二者具有非常该的迁移性；在2.2节中，我们重点阐述了GCN对图数据进行端对端学习的机制；在2.3节中，从低通滤波器的视角，解释了

图神经网络（一）图信号处理与图卷积神经网络（6）GCN实战 本节我们通过一个完整的例子来理解如何通过GCN来实现对节点的分类。 我们使用的是Cora数据集，该数据集由2708篇论文，及它们之间的引用关系构成的5429条边组成这些论文被根据主题划分为7类，分别是神经网络、强化学习、规则学习、概率方法、遗传算法、理论研究、案例相关。每篇论文的特征是通过词袋模型得到的，维度为1433，每一维表示一个词，1表示该词在这篇文章中出现过，0表示未出现。 首先我们定义类CoraData来对数据进行预处理，主要包括下