机器学习周记（第二十五周：文献阅读-DSTIGNN）2024.1.8~2024.1.14

目录

摘要

ABSTRACT

1 论文标题

2 论文摘要

3 论文背景 

4 过去研究

5 论文研究

5.1 问题描述

5.2 论文模型

5.2.1 时空交互学习模块（Spatiotemporal Interactive Learning Module）

5.2.2 动态图推理模块（Dynamic Graph Inference Module）

5.2.3 动态图卷积模块（Dynamic Graph Convolution Module）

5.2.4 输出模块与训练过程（Output Module And Training Process）

---

摘要

  本周学习了一篇基于STFGNNs的多变量时间序列预测的论文，论文的模型为DSTIGNN（动态时空交互图神经网络），主要包括如下四个模块：时空交互学习模块（Spatiotemporal Interactive Learning Module）、动态图推理模块（Dynamic Graph Inference Module）、动态图卷积模块（Dynamic Graph Convolution Module）以及输出模块（Output Module）。动态图推理模块通过融合两类异构信息对变量之间的动态空间关联进行建模，并与动态图卷积模块相结合，在空间维度上进行信息传播。同时，利用下采样操作和多个样本卷积模块联合捕获多分尺度时间相关性。随后，这些模块被集成到一个时空交互学习框架中，实现了时间和空间特征的同步捕获。在6个基准数据集上进行了大量实验，实验结果表明，DSTIGNN表现出了最先进的性能。

ABSTRACT

This week, We learned a paper on multivariate time series forecasting based on STFGNNs. The model of the paper is DSTIGNN (Dynamic Spatio-Temporal Interaction Graph Neural Network), which mainly includes the following four modules: Spatiotemporal Interactive Learning Module, Dynamic Graph Inference Module, Dynamic Graph convolution module Convolution Module) and Output Module. The dynamic graph inference module models the dynamic spatial association between variables by fusing two types of heterogeneous information, and combines it with the dynamic graph convolution module to propagate information in the spatial dimension. At the same time, the down-sampling operation and multiple sample convolution modules are used to jointly capture the multi-subscale temporal correlation. Subsequently, these modules are integrated into a spatio-temporal interactive learning framework, which enables the simultaneous capture of temporal and spatial features. Extensive experiments are conducted on six benchmark datasets, and the experimental results show that DSTIGNN exhibits the state-of-the-art performance.

1 论文标题

Dynamic spatiotemporal interactive graph neural network for multivariate time series forecasting

2 论文摘要

  多变量时间序列（MTS）预测对于复杂现实现象的决策具有重要意义。然而，变量内部的非线性时间相关性和变量之间的动态空间相关性使得准确的MTS预测具有挑战性。目前，有许多研究人员构建了各种时空图神经网络（spatiotemporal graph neural networks，STGNNs）并将其应用于该领域。然而，现有的方法大多使用单一类型的信息构建图结构，并分别捕获时间和空间特征。这些因素会导致模型无法提取完整的时空特征，从而限制其性能。为克服这些限制，本文提出动态时空交互图神经网络（DSTIGNN），一种用于MTS预测的新型STGNN。所提出的动态图推理模块（dynamic graph inference module，DGIM）通过融合两类异构信息对变量之间的动态空间关联进行建模，并与动态图卷积模块（dynamic graph convolution module，DGCM）相结合，在空间维度上进行信息传播。同时，利用下采样操作（downsampling operations）和多个样本卷积模块（sample convolution modules，SCM）联合捕获多分尺度时间相关性。随后，这些模块被集成到一个时空交互学习框架中，实现了时间和空间特征的同步捕获。在6个基准数据集上进行了大量实验，实验结果表明，DSTIGNN表现出了最先进的性能。

3 论文背景 

  多变量时间序列（MTS）预测的目标是通过揭示历史数据之间的模式和关系来预测未来数据。数据科学和人工智能技术的进步，将MTS预测提升为数据驱动决策和优化的重要工具。MTS预测广泛应用于能源、天气、交通等领域，包括电力负荷预测、天气预测、交通流量预测等。准确的MTS预测对于使个人能够做出明智的决定和驾驭不确定的未来至关重要。MTS预测的困难在于捕获每个变量内在的非线性时间相关性。必须充分考虑多个变量之间的相互作用和影响，这种相关性可能会随着时间的推移而变化。近年来，深度学习因其能够从数据中自动学习最优的特征表示而得到迅速普及。许多研究人员开始构建基于深度学习的方法，用于MTS预测领域的应用。例如，有许多方法结合了循环神经网络（RNNs）和卷积神经网络（CNNs），以捕获变量内的时间相关性和变量之间的空间相关性。然而，CNN具有全局聚合属性，阻止了它们捕获变量之间的成对依赖关系，这可能会限制模型的性能。最近，图神经网络（GNNs）的出现能够用来解决这个问题。GNN将MTS中的每个变量视为图结构中的一个节点，变量之间的成对依赖关系视为图结构中的边。然后通过图结构进行信息传播，允许每个节点与其相邻节点交互并学习其特征表示。因此，许多研究人员开始将GNNs与其他深度神经网络结合在专用时空图神经网络（STFGNNs）中以提高模型的预测性能。

4 过去研究

  目前，STGNNs可以根据其架构和构造的图结构进行分类。从STGNNs的架构来看，这些网络通常将GNNs与注意力机制（Attention）、CNN或RNN相结合，以捕获MTS中的时空依赖关系。然而，与基于CNN和基于RNN的方法相比，这种方法在捕获短期依赖方面相对较低效，并且可能受到内存和计算资源的限制。基于CNN的方法通常使用时间卷积网络（TCN）来有效捕获数据中的时间依赖关系，然后将其与以串行或并行方式捕获空间依赖关系的GNN相结合以预测MTS。然而，这些方法忽略了时间和空间特征之间的相互作用，潜在地削弱了时空相关性。基于循环神经网络的方法通常使用循环神经网络及其变体，长短期记忆网络（LSTM）和门控循环单元（GRU）可以有效地提取时间特征。这些方法通常将GNN嵌入到RNN单元中，以同步捕获空间和时间依赖关系。基于RNN的方法考虑了时空特征之间的相互作用，但可能面临梯度爆炸或消失等挑战。尽管现有方法在MTS预测任务中取得了很好的效果，但仍然存在一定的局限性。此外，这些方法在捕获时序依赖关系时往往忽略了时间序列的特性，如季节性和趋势性。在论文Spatial-Temporal Interactive Dynamic Graph Convolution Network for Traffic Forecasting中率先将时间序列的特性与时空交互学习相结合，在交通数据上取得了优异的预测性能。然而，他们的模型采用了单层结构，这在一定程度上限制了其对其他时间序列数据中可能存在的各种依赖关系的适用性。因此，设计一个灵活高效的模型，同时考虑时空交互学习和时间序列的特性，是一项具有挑战性的任务。无论STGNNs的架构如何，都需要建立信息传播的图结构。因此，构建一个合适的图结构也是非常重要的。

  根据构造的图结构，STGNNs可以根据预定义图、自适应图（动态图）进行分类。基于预定义图的方法通常基于先验知识或单一规则构建图结构，如空间距离、Pearson相关系数、动态时间规整（dynamic time warping）等。虽然这些预定义的图可以在一定程度上反映节点之间的因果关系，但对于抽取节点之间的复杂关系还不够。自适应图的出现很好地解决了这个问题。它们对节点信息进行参数化，并自适应地学习变量之间的空间关系。然而，预定义图结构和自适应图结构都是静态的，缺乏建模节点之间动态空间关联的能力。如下图(a)所示，四条不同颜色的折线代表四个不同传感器处的交通流。从图中可以看出，节点间的空间关联随时间变化，每个时间步长的空间关联可以建模为图结构。这个问题促使研究人员构建动态图。论文