【论文翻译】COOL:A Conjoint Perspective on Spatio-Temporal Graph Neural Network for Traffic Forecasting

原创

已于 2024-09-06 16:28:54 修改 · 1.1k 阅读

11 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #智慧城市 #python

于 2024-07-18 12:49:30 首次发布

题目	COOL: A Conjoint Perspective on Spatio-Temporal Graph Neural Network for Traffic Forecasting（交通预测中一种联合时空图神经网络的视角）
作者	共一：博士后琚玮、研二赵禹昇；通讯作者：罗霄、张铭
作者团队	北京大学张铭老师课题组
期刊	Information Fusion
论文链接	https://www.sciencedirect.com/science/article/pii/S1566253524001192

摘要

本论文研究了交通预测，旨在根据历史情况预测未来的交通状态。该问题在各种场景中受到了越来越多的关注，并促进了诸如城市规划和交通管理等众多下游应用的发展。然而，由于现有方法倾向于独立建模时间和空间关系，从而未能充分考虑两者的复杂高阶交互，其效果仍然不尽如人意。此外，交通预测中转移模式的多样性使得现有方法难以捕捉，亟需更深入的探索。

为此，本文提出了联合时空图神经网络（简称COOL），该方法通过先验和后验信息的异构图联合捕捉高阶时空关系。

一方面，构建连接顺序观测的异构图，通过先验信息传递提取复合时空关系。

另一方面，我们通过构建的亲和图和惩罚图来建模动态关系，这些图引导后验信息传递，将补充语义信息整合到节点表示中。

此外，为了捕捉多样的转移属性以增强交通预测，我们提出了联合自注意解码器，该解码器通过多阶和多尺度视角建模多样的时间模式。

四个流行基准数据集的实验结果表明，我们提出的COOL相比竞争基线方法提供了最先进的性能。

1 引言

1.1 背景

时空预测因其在众多下游应用中的相关性，已成为一个突出的研究领域。从城市规划和环境管理到物流优化及其他方面，准确预测实体在时间和空间上的演变至关重要。在该领域中，一个特别关键的现实问题是交通流量预测，它旨在根据历史情况预测未来的交通状况。它涉及预测交通动态的各个方面，包括交通量、速度和拥堵模式，涵盖不同地点和时间间隔。交通流量预测的应用范围广泛，影响着智能交通系统、交通管理、路线规划，最终有助于减少拥堵、提高运输效率和增强城市宜居性。

1.2 相关研究

最近，已经提出了一系列有效的交通流量预测算法，大致分为基于物理的和基于学习的方法。前者通常依赖微分方程形式化地描述交通系统，在模拟环境中表现出色，但由于其苛刻的模型假设，往往难以适应复杂的现实场景。相反，基于学习的方法因其能够利用历史观测优化机器学习模型而广泛应用，成为预测未来趋势的热门选择。早期研究尝试使用传统模型如自回归综合滑动平均和支持向量机来解决这一挑战，但其建模能力不足以适应大规模复杂数据。近年来，基于深度学习的方法因其利用深度神经网络强大的表示学习能力，显著提升了性能。一方面，它们采用循环神经网络或时序卷积网络来捕捉交通数据中的时间依赖性；另一方面，图神经网络被用于从道路网络中提取结构化的空间关系。通过结合这两方面的优势，当前算法能够有效捕捉时空信息，促进了准确的交通流量预测。

GDGCN开发了一种新的时间图卷积模块，用于灵活的时间关系，并通过动态图构造器来同时建模时间特定的空间依赖性和变化的时间交互。
DS-TGCN则结合了空间-时间相似性特征和注意机制的卷积，有效提取复杂的时空关系。

1.3 关键缺陷

尽管现有的交通流量预测技术取得了令人印象深刻的性能，但它们仍存在两个关键缺陷：

未能有效捕捉复合的时空关系。 例如，无法充分建模交通拥堵与当地天气条件（如雨雪）之间的相互作用，而这可以显著影响交通流动态。现有的时空算法通常通过在交通网络中融合相应的表示来组合图神经网络（GNNs）和循环神经网络（RNNs）。然而，这种简单的组合将时空相关性的挖掘分离开来。这些方法在提取空间信息时无法获取各种时间信息，从而错失高阶复合关系。此外，它们通常从道路网络中提取空间相关性，忽略了交通系统中的动态语义相关性，导致交通预测性能不佳。
未能充分捕捉多样的转移模式。 由于不同交通需求，不同地点或时间可能表现出多样的转移模式。例如，现有模型可能难以准确预测常规工作日交通流与节假日或特殊活动（如音乐会或体育比赛）期间高度可变的交通模式之间的转变。此外，它们可能无法有效捕捉工作日和周末之间的转变模式，这通常由于通勤行为的变化而表现出不同的交通动态。正如图1所示，不同地点可能由于日常或每周例行公事表现出不同的周期模式。然而，现有方法大多无法通过标准序列模型有效建模复杂的时间依赖性，从而阻碍了其进行准确交通流预测。

1.4 提出方法

在本文中，我们提出了一种名为COOL的新方法用于有效的交通预测。从高层次上讲，COOL通过先验和后验信息联合探索高阶时空关系。

一方面，我们将先验信息引入到由空间和时间连接的异构图中。
另一方面，我们通过构建的亲和图和惩罚图建模动态关系，然后开发后验消息传递层以将相似性和不相似性整合到序列节点表示中。
此外，为了捕捉多样的转移属性以增强交通预测，我们开发了一种联合自注意解码器，通过建模多样的时间模式来聚合序列表示，从多阶和多尺度视角进行。

在具体操作中，我们不仅利用不同大小的变换矩阵提供多阶注意矩阵以建模多样的内在模式，还涉及多尺度池化以生成子序列表示来捕捉各种周期模式。最终，我们自适应地组合获得的全局表示以生成交通预测。

与当前最先进的基线方法STAEformer相比，该方法主要通过不同的Transformer层依次建模时间和空间信息，分别建模这两个固有耦合方面通常会导致次优性能。相比之下，我们提出的COOL通过构建异构图自然地将时间和空间信息结合起来。通过先验和后验消息传递，COOL进一步捕捉高阶时空依赖性。此外，STAEformer没有考虑实际交通流预测场景中存在的丰富时间模式，而我们的COOL利用自注意机制来建模这些模式并更真实地捕捉动态。

1.5 主要贡献

本文的主要贡献如下：

我们提出了一种新的时空图卷积网络模型COOL，该模型通过先验和后验信息联合探索高阶时空关系。
为了捕捉各种长期转移模式，COOL引入了一种联合自注意解码器，通过多阶和多尺度注意分支聚合序列表示。
在四个基准数据集上的大量实验结果表明，我们提出的COOL取得了有希望的结果，并大幅优于竞争基线方法，验证了我们方法的有效性。

2. 相关工作

2.1 图神经网络

近年来，图神经网络（GNNs）由于其在建模具有复杂关系的结构化数据中的有效性而获得了显著的普及。GNNs 的基本思想是通过聚合来自邻居的信息来学习图中节点的表示，从而捕捉到内在的图结构。GNNs 已广泛应用于各种下游任务，包括节点分类、图分类和图聚类，并展示了令人印象深刻的性能。

在时空分析的背景下，GNNs 也得到了广泛应用。时空分析中的一些先前工作利用 GNNs 来建模各种现象。例如，

Graph WaveNet 使用自适应依赖矩阵通过节点嵌入来捕捉时空依赖性，并通过堆叠的扩张 1D 卷积组件高效地处理长序列。
STSGCN 通过设计的同步建模机制有效捕捉局部化的时空相关性，并通过多个时间周期模块考虑局部时空图中的异质性。
CNFGNN 提出了一个联邦时空模型，利用基于 GNNs 的架构来编码图结构，通过跨节点的联邦学习来解耦时空动态，同时减少通信成本。

尽管基于 GNNs 的时空分析方法已做出显著贡献，但我们的 COOL 通过解决关键限制并在捕捉复杂时空关系和交通数据中的多样转移模式方面提供优越性能，脱颖而出。这些创新带来了更准确和更稳健的交通流预测。

2.2 交通流量预测

交通流量预测是该领域中一个公认且广泛研究的问题，吸引了大量关注和兴趣。为此任务提出了许多时空预测方法，取得了显著的成果。

解决这一挑战的主要方法基于机器学习算法，这些算法利用从各种传感器收集的时空数据来预测未来的交通状况。传统方法如k近邻、自回归综合移动平均和支持向量机已被使用，但它们在有效建模交通数据中固有的复杂空间关系方面往往表现不佳。

随着深度神经网络的快速发展，基于深度学习的方法已成为主导范式，专注于在交通流量数据中精细建模时空依赖性。这需要利用深度神经网络架构来捕捉这些依赖性，包括利用GNNs来提取编码在道路网络中的结构化空间关系，同时，序列神经网络在时间上捕捉依赖性。这两种互补方法通常结合起来，开发出能够处理交通流量预测复杂性的综合模型。例如，

ASTGCN通过时空注意机制、图卷积和标准卷积，分别建模最近、每日周期性和每周周期性的交通依赖，并将输出融合以进行预测。
GMAN引入了一种图多重注意网络，使用编码器-解码器架构和时空注意块在道路网络图上预测未来的交通状况。
DGCRN利用超网络提取动态节点属性，并在每个时间步生成动态滤波器以过滤节点嵌入。

然而，现有的时空GNN方法在捕捉高阶关系和多样转移属性方面仍存在一些局限性。为了解决这些问题，我们提出了一种名为COOL的新方法，不仅通过先验和后验信息联合探索构建的异构图中提取的高阶时空相关性，还引入了一种联合自注意解码器，该解码器通过利用多阶和多尺度自注意来捕捉多样的时间转移模式。

3 方法

本文提出了一种名为COOL的交通流量预测新方法。如图2所示，COOL由联合时空图编码器和联合自注意解码器组成。

在编码器中，我们从先验和后验信息中联合提取高阶时空相关性。
- 一方面，我们在构建的包含空间和时间连接的异构图的指导下执行消息传递。
- 另一方面，我们构建语义亲和图和惩罚图来表征动态关系，然后将相似性和不相似性整合到序列节点表示中。
在解码器中，我们通过从多阶和多尺度视角探索多样的转移模式来聚合序列表示。

问题定义 我们将道路网络的交通图表示为 $\mathcal{G} = (\mathcal{V}, \mathcal{E})$ ，其中节点集为 $\mathcal{V}$ ，边集为 $\mathcal{E}$ 。邻接矩阵表示为 $\in \mathbb{R}^{N \times N}$ 。历史观测记为 $\{X_1, X_2, \ldots, X_T\}$ ，其中 $X_t \in \mathbb{R}^{N \times F}$ 表示时间步 $t$ 的观测值， $F$ 为每个观测值的维度。交通流量预测的目标是预测未来的观测值 $X_t (t > T)$ 。

3.1 联合时空图编码器

编码器由两个组件组成。首先构建异构图进行先验消息传递，然后推断亲和图和惩罚图以进行后验消息传递。

3.1.1 异构图生成器

为了学习复合的时空关系，我们提出了一种异构图，该图将时间和空间视角的观测连接起来。

具体来说，我们在每个异构图 $G_{[t-r+1:t]}^H$ 中考虑了 $r$ 个时间步，该图包含 $\times N$ 个观测值 $\{v_i^t\}_{t \in [t-r+1:t], v_i \in \mathcal{V}}$ 。两个观测值通过空间边连接，即 $w_{v_i^t, v_j^t} = A_{ij}$ 在每个时间步长，而连续的观测值也通过时间边连接，即 $w_{v_i^t, v_i^{t+1}} = 1$