SigSpatial 2021会议论文研读（4）

ACM SIGSPATIAL国际地理信息系统大会(ACM SIGSPATIAL 2021)于2021年11月2日至5日在中国北京举行。该会议始于1993年,旨在汇集研究人员、开发人员、用户和实践者基于地理空间数据和知识,促成跨学科的、覆盖地理信息系统方方面面的交流与合作。本届论文涵盖面较为宽泛，分为6个大类，超过40个小类。接下来，我们将进行一个系列的SigSpatial2021-时空主题论文研读。

DetectorNet: Transformer-enhanced Spatial Temporal Graph Neural Network for Traffic Prediction

1.背景和问题

1.1 背景

在智能交通系统（ITS）中，检测器数据逐渐占据了举足轻重的地位。 据 PEMS 称，加州所有主要大都市地区的高速公路系统都覆盖了 39000多个探测器。 该报告表明，检测器是道路上常见的数据采集设备，具有很大的研究价值，尤其是对于交通预测。 然而，基于检测器网络的交通预测问题面临着许多挑战。 具体可以分为以下几点：（a）动态空间相关性。（b）动态时间相关性。 (c) 复杂的时空相关性。 空间相关性和时间相关性是密不可分的。 简而言之，一条道路的交通状况可能与周边道路的历史交通状况密切相关。

现有研究工作可用于解决检测器网络的流量预测。在早期，该任务被简单地视为多元时间序列的预测。因此，捕捉交通数据周期性的时间序列模型（如ARIMA）被广泛使用，但大多不能有效地建模非线性时间序列，也没有考虑空间相关性。虽然基于网格的方法在城市层面取得了很好的效果交通预测中，路网结构自然是由非欧几里得数据组成的，这给这些方法的应用带来了很大的障碍。近年来，有一些基于图神经网络（Graph Neural Networks，GNN）的研究工作，考虑了时空相关性，但只专注于道路空间关系的建模，而忽略了道路空间关系的动态性。 同时，虽然在解决长距离多步预测问题上做了一些努力，但效果有待提高。

1.2 问题定义

城市检测器网络被视为由表示的图，其中是检测器节点的集合，是边的集合。 传感器的数量表示，检测器图的邻接矩阵表示为。 在每个时间步，检测器图有一个图信号矩阵，它最初表示每个检测器记录的值。 因此，给定历史步图信号，交通预测就是学习一个函数来预测下一个步图信号。 公式如下:

2.方法介绍

2.1 多视图时间注意力模块

为了改进特征表达，通过一维卷积增加原始观测的维数，得到。 为了清楚起见，本文将层的输入分为三个视图，即短距离视图、中距离视图和远距离视图。

Multi-view Self Attention

对于每个视角的观察，本文基于自注意力机制分别提取动态时间相关性的特征，根据输入动态调整注意力系数。 在每个视图中，每个时间的特征成对交互。 为方便具体描述，本文以短距离视图为例:

首先，映射到三个特征空间：查询，键，值。

本文通过以下方式直接学习两个时间步长之间的相关性:

然后，本文将时间注意力加权到该值上，并获得一个短距离视图的新特征表示

同样，本文计算中距离和远距离视图的新表示。

Global Temporal Attention

本文采用自注意机制来模拟所有时间步的相关性。 与 MTA 不同，GTA 不需要对数据进行划分，直接将输入映射到查询的特征空间、值和键。接下来，本文使用缩放的点积来模拟时间步的成对交互，并获得全局时间注意矩阵。

Fusion

在这一部分中，本文合并了多个视图和全局时间特征。 MTA 给出三个视图的时间信息（例如短距离视图）。 通过concatenate操作，本文得到如下结果

本文结合残差连接，提出如下融合方法

因此，本文得到了第层MTAM的输出

2.2 动态空间图网络

本文对动态空间关系进行建模，以反映道路的动态变化关系。因此，需要从输入数据中学习有用的信息来捕捉这个特征。 对于具有时间特征的输入，本文将其并行映射到查询空间和关键空间，并通过缩放点积得到两条道路之间的交互关系。 接下来，利用注意力邻接矩阵和从自适应矩阵中学习到的结构特征，得到道路之间的动态空间结构（即动态邻接矩阵）如下

本文使用学习到的动态空间结构来改进基于 Diffusion GCN 的过程，从而捕捉动态空间关系。 这个新颖的模块也被命名为动态空间GCN(DSGCN)。 本文的建模方法如下

本文最终利用 FFN 作为增强动态 GCN 可表达性的一种方式。 具体公式如下

2.3 Predictor and Loss

为了有效利用提取的空间和时间特征，本文采用卷积作为预测器。 此外，为了减轻信息的损失，本文使用 2 层卷积逐步融合特征。 最后一层的输出被变形并改写为，其中等于。 一般来说，我们设置。 所以，多步预测是

3.实验和结果

3.1 Datasets

本文在两个公共交通数据集 PEMS-BAY 和 METR-LA 上进行了大量实验。 表1显示了这两个数据集的更简洁的介绍和统计数据。

3.2 Experimental Setup

本文在两个数据集上验证了DetectorNet，结果如表2所示。此外，本文有以下发现：基于图神经网络（GNN）的方法适用于检测器网络的时空预测。 基于GNN的方法（例如GraphWaveNet、DetectorNet）的性能明显优于传统的基于时间序列的方法（例如 WaveNet）。 原因在于传统模型忽略了空间相关性的重要性，将每个节点的时间信息孤立地对待。Self-Attention机制可以有效地对长距离序列进行建模。 显然，基于Self-Attention机制的DetectorNet在远程多步预测方面具有显着优势，远优于基于RNN和基于时间卷积网络（TCN）的方法。 确实，必须承认DetectorNet在短期预测方面仍有提升空间。

4.结论与展望

在本文中，提出了一种名为 DetectorNet 的新模型，以更好地解决基于时空图的流量预测。 DetectorNet利用Multi-view Temporal Attention模块等模块，不仅可以考虑原始静态信息，还可以捕捉道路结构动态变化的相关性，最终对交通流量进行准确预测。 与其他11个基线相比，在两个开放数据集上进行的实验结果验证了DetectorNet的优越性。

思考

动态时空图作为时空图交通流预测的一个研究方向近些年已经有不少成果。本文值得学习和思考几个方面如下：

1. 由于流量数据原始特征较少，首先使用卷积核进行特征升维

2. 多视图构建时间自注意力模块用于提取不同周期的交通特征

3. 基于节点嵌入和输入流量的动态图融合

4. 模型的复杂度较大，在大型图结构的可行性有待验证

更多内容，敬请关注同名微信公众号：时空大数据兴趣小组。