【论文翻译】IJCAI 2019 | Graph WaveNet：用于深度时空图建模的Graph WaveNet

论文题目	Graph WaveNet for Deep Spatial-Temporal Graph Modeling
作者团队	Zonghan Wu, Shirui Pan, Guodong Long, Jing Jiang, Chengqi Zhang
机构	澳大利亚悉尼科技大学人工智能中心 (UTS) 和 澳大利亚莫纳什大学
发表会议	IJCAI 2019
论文链接	https://www.ijcai.org/proceedings/2019/0264.pdf
源码地址	https://github.com/nnzhan/Graph-WaveNet
关键词	自适应邻接矩阵, 扩张因果卷积, 图卷积网络(GCN), 时空图, 交通预测

摘要

空间-时间图建模是一项重要任务，用于分析系统中各组件的空间关系和时间趋势。现有方法大多在固定图结构上捕获空间依赖关系，假设实体之间的底层关系是预先确定的。然而，显式的图结构（关系）并不一定能反映真实的依赖关系，真正的关系可能因数据中连接的不完整而缺失。此外，现有方法未能有效捕获时间趋势，因为这些方法中使用的 RNN 或 CNN 无法捕获长程时间序列。

为克服这些限制，我们在本文中提出了一种新的图神经网络架构——Graph WaveNet，用于空间-时间图建模。通过开发一种新的自适应依赖矩阵并通过节点嵌入进行学习，我们的模型能够精确捕获数据中的隐藏空间依赖关系。通过堆叠的扩张型一维卷积组件，其感受野随着层数的增加呈指数增长，Graph WaveNet 能够处理非常长的序列。这两个组件在统一的框架中无缝集成，整个框架通过端到端的方式进行学习。

在两个公共交通网络数据集 METR-LA 和 PEMS-BAY 上的实验结果表明，我们的算法具有优越的性能。

1 引言

随着图神经网络的发展，空间-时间图建模受到了越来越多的关注。它旨在通过假设连接节点之间的相互依赖关系来对动态节点级输入进行建模，如图 1 所示。

空间-时间图建模在解决复杂系统问题中有广泛应用，如交通速度预测、出租车需求预测、人类行为识别和驾驶员操作预判等。以交通速度预测为例，城市道路上的速度传感器形成一个图，其中边权重由两个节点的欧几里得距离决定。由于某条道路上的交通拥堵可能导致其入口道路上的交通速度降低，因此在对每条道路的交通速度时间序列数据进行建模时，通常将交通系统的图结构视为节点之间相互依赖关系的先验知识。

空间-时间图建模的一个基本假设是，节点的未来信息取决于其历史信息以及其邻居的历史信息。因此，如何同时捕获空间和时间依赖性成为主要挑战。最近的空间-时间图建模研究主要遵循两个方向：将图卷积网络 (GCN) 集成到递归神经网络 (RNN) 或卷积神经网络 (CNN) 中。尽管这些方法在将数据的图结构引入模型中表现出有效性，但它们存在两个主要缺点。

首先，这些研究假设数据的图结构反映了节点之间的真实依赖关系。然而，在某些情况下，连接并不意味着两个节点之间存在依赖关系，而两个节点之间存在依赖关系时却可能缺少连接。例如在推荐系统中，两个用户可能连接在一起，但他们可能对产品有不同的偏好；反之，两个用户可能有相似的偏好，但却没有连接。Zhang 等人使用注意力机制调整连接节点之间的依赖权重来解决第一种情况，但未考虑第二种情况。

其次，目前的空间-时间图建模研究未能有效地学习时间依赖性。基于 RNN 的方法在捕获长序列时由于迭代传播耗时以及梯度爆炸/消失问题而效率低下；相反，基于 CNN 的方法具有并行计算、稳定梯度和低内存需求的优势。然而，这些方法为了捕获较长的序列需要堆叠多层或使用全局池化，因为它们采用的标准一维卷积的感受野随着隐藏层数的增加线性增长。

在本研究中，我们提出了一种基于 CNN 的方法，称为 Graph WaveNet，来解决上述两个缺点。我们提出了一种图卷积层，其中可以通过端到端的监督训练从数据中学习到一个自适应的邻接矩阵。在这种方式下，自适应邻接矩阵可以保留隐藏的空间依赖关系。受 WaveNet 启发，我们采用堆叠的扩张型因果卷积来捕获时间依赖性。堆叠的扩张型因果卷积网络的感受野随着隐藏层数的增加呈指数增长。在扩张型因果卷积的支持下，Graph WaveNet 能够高效地处理具有长序列的空间-时间图数据。本研究的主要贡献如下：

• 我们构建了一个自适应邻接矩阵，保留了隐藏的空间依赖关系。该自适应邻接矩阵能够从数据中自动发现未见的图结构，而无需任何先验知识。实验验证表明，当已知存在空间依赖性但未提供时，我们的方法可以改善结果。

• 我们提出了一个有效的框架来同时捕获空间-时间依赖性。核心思想是将我们提出的图卷积与扩张型因果卷积组合，使每个图卷积层能够在不同粒度级别上处理由扩张型因果卷积层提取的节点信息的空间依赖性。

• 我们在交通数据集上评估了我们提出的模型，并在低计算成本的情况下实现了最先进的结果。

2 相关工作

2.1 图卷积网络

图卷积网络是学习图结构数据的构建模块，广泛应用于节点嵌入、节点分类、图分类、链接预测和节点聚类等领域。图卷积网络主要有两大流派，即基于谱的方法和基于空间的方法。

• 基于谱的方法使用图谱滤波器平滑节点的输入信号。
• 基于空间的方法通过从邻居节点聚合特征信息来提取节点的高级表示。

在这些方法中，邻接矩阵被视为先验知识，并在训练过程中保持不变。

• Monti 等人通过高斯核学习节点邻居的权重。
• Velickovic 等人通过注意力机制更新节点邻居的权重。
• Liu 等人提出了一种自适应路径层来探索节点邻居的广度和深度。

尽管这些方法假设每个邻居对中心节点的贡献是不同的并且需要学习，但它们仍然依赖于预定义的图结构。Li 等人采用距离度量自适应地学习图的邻接矩阵以进行图分类问题。然而，由于空间-时间图的输入是动态的，他们的方法不适合空间-时间图建模。

2.2 空间-时间图网络

大多数空间-时间图网络遵循两大方向，即基于 RNN 和基于 CNN 的方法。

早期的基于 RNN 的方法通过对传递到循环单元的输入和隐藏状态进行图卷积过滤，捕获空间-时间依赖性。后续工作采用了扩散卷积和注意力机制等策略来提高模型性能。另一项平行工作使用节点级和边级的 RNN 处理时间信息的不同方面。

• 基于 RNN 的方法的主要缺点在于它们在处理长序列时效率低下，并且当与图卷积网络结合时，其梯度更易发生爆炸。
• 基于 CNN 的方法将图卷积与标准一维卷积结合。虽然计算效率高，但这些方法为了扩展模型的感受野需要堆叠多层或使用全局池化。

3 方法

在本节中，我们首先给出本文所要解决问题的数学定义。接下来，我们描述框架的两个构建模块，图卷积层（GCN）和时间卷积层（TCN）。它们协同工作，以捕获空间-时间依赖关系。最后，我们概述框架的架构。

3.1 问题定义

一个图可以表示为$G=(V,E)$，其中$V$是节点集合，$E$是边集合。从图导出的邻接矩阵记为 $A\in {\mathbb{R}}^{N\times N}$ 。如果 $v_i,v_j\in V$ 且 $(v_i,v_j)\in E$ ，则 $A_{ij}$ 为1，否则为0。在每个时间步 $t$ ，图$G$具有一个动态特征矩阵 $X^{(t)}\in {\mathbb{R}}^{N\times D}$ 。在本文中，特征矩阵和图信号可以互换使用。给定图 $G$ 及其历史的 $S$ 步图信号，我们的问题是学习一个函数 $f$ ，该函数能够预测未来 $T$ 步的图信号。映射关系表示如下：

$$[X^{(t-S):t},G]\stackrel{f}{\to }{X}^{(t+1):(t+T)},\text{\hspace{1em}(1)}$$

其中 $X^{(t-S):t}\in {\mathbb{R}}^{N\times D\times S}$ 且 $X^{(t+1):(t+T)}\in {\mathbb{R}}^{N\times D\times T}$ 。

3.2 图卷积层

图卷积是提取节点特征的重要操作，基于其结构信息。Kipf 等人提出了切比雪夫谱滤波的首次近似。从空间角度来看，它通过聚合并转换邻域信息来平滑节点信号。该方法的优势在于它是一个组合层，其滤波器是局部化的，并支持多维输入。令