论文笔记《Graph WaveNet for Deep Spatial-Temporal Graph Modeling》

Abstract

现存问题：

• 在捕获空间依赖性方面。 大多在固定图上捕获空间依赖关系，这种固定图结构不一样反映真实依赖关系，而真实依赖关系可能由于不完整的邻接关系而丢失。
• 在捕获时间依赖性方面。 RNNs/CNNs等在捕获长程的时间序列时，效果不太好。

本文解决方法：

• 提出自适应邻接矩阵，并通过节点嵌入学习它
• 堆叠空洞1D卷积，感受野随着堆叠层数增加而指数级增加，进而捕获长程关系

1. Introduction

时空图模型的一个基本假设是：节点未来信息仅取决于该节点和其邻居的历史信息。后续研究成果证明了将数据的图结构引入模型中的有效性，但该类模型存在两个问题：

• 依赖关系未能充分表征。（1）连接不包含两个节点之间的依赖关系，例如推荐系统中，存在连接的用户并不会对产品有共同偏好。（2）两个节点之间存在依赖关系，但缺乏链接，例如推荐系统中，两个用户存在相同偏好，但缺乏连接。
• 时空图模型未能有效学习到时间依赖性。（1）基于RNN的方法，迭代传播耗时、存在梯度爆炸/消失问题。（2）基于CNN的方法通常需要较多层以保证感受野大小。

本文贡献：

• 提出自适应的邻接矩阵(a self-adaptive adjacency matrix)，据此捕获隐藏的空间依赖关系，该矩阵能够在没有任何先验知识指导的情况下自动从数据中发现不可见的图结构。
• 提出了一个有效的框架来同时捕获时空相关性，具体就是将图卷积和dilated casual convolution组合。

2. Related Works

图卷积模型 大概两个分支：

• 基于频谱域的方法
• 基于空域的方法

但这些方法，都将邻接矩阵认为是一种先验知识，并且在训练过程中也是固定不变的。

3. Methodology

3.1 Problem Definition

• 图 $G=(V,E)$，节点集 $V$，边集 $E$
• 邻接矩阵 $\mathbf{A}\in {\mathbf{R}}^{N\times N}$
• 在时间步 $t$，输入矩阵为 ${\mathbf{X}}^{(\mathbf{t})}\in {\mathbf{R}}^{N\times D}$
• 本文目标是，给定图 $G$ 和历史 $S$步图信号数据，学习映射关系 $f$，进而预测接下来 $T$ 步图信号$\left[{\mathbf{X}}^{(t-S):t},G\right]\stackrel{f}{\to }{\mathbf{X}}^{(t+1):(t+T)}$

3.2 Graph Convolution Layer

Graph Convolution Layer ： $\mathrm{Z}=\tilde{\mathrm{A}}\mathrm{X}\mathrm{W}$

• 标准化的邻接矩阵