double_piga的博客

我们提出了一种用于细粒度交通预测的时空记忆增强多级注意力网络，命名为ST-MAN。具体来说，我们设计了一个时空记忆网络，用于编码和记忆细粒度的空间信息和典型的时间模式。然后，我们提出了一个多级注意力网络，明确地在不同的空间尺度（如网格和区域层次）和时间尺度（如日常和每周层次）下，建模局部的短期时空依赖和全局的长期时空依赖。此外，我们设计了一个外部组件，使用外部因素和空间嵌入作为输入，更高效地生成外部因素对位置的影响。最后，我们设计了一个端到端的框架，通过对比目标和监督目标的联合优化来提升模型性能。

该论文提出了一种新的图神经网络架构——Graph WaveNet，用于空间-时间图建模。通过开发一种新的自适应依赖矩阵并通过节点嵌入进行学习，其模型能够精确捕获数据中的隐藏空间依赖关系。通过堆叠的扩张型一维卷积组件，其感受野随着层数的增加呈指数增长，Graph WaveNet 能够处理非常长的序列。这两个组件在统一的框架中无缝集成，整个框架通过端到端的方式进行学习。

我们提出了两种归一化模块——时间归一化和空间归一化，分别提取了原始数据中的高频分量和局部分量。此外，这两个模块可以轻松地集成到Wavenet和Transformer等经典深度学习架构中。

PredFormer利用精心设计的门控Transformer模块，经过对包括全注意力、因子分解以及交错时空注意力在内的3D注意力机制的全面分析。

这是一种用于交通预测的深度学习框架，结合了交通流中的空间和时间依赖性。具体来说，DCRNN 通过图上的双向随机游走捕捉空间依赖，并使用带有调度采样的编码器-解码器架构来捕捉时间依赖性。

首先提出了一种基于时间变化掩码增强的增强时序感知多头自注意力机制，能够更准确地建模交通网络中不同交通节点之间的动态时间依赖性。其次，我们提出了一种新的图学习策略，以同时学习道路网络中不同交通节点的静态和动态空间关联关系。同时，为了增强时间变化图学习的能力，设计了一种耦合图学习机制，能够耦合每个时间步长学习到的图。

我们提出了一种用于交通流量预测的异构专家混合模型（Heterogeneous Mixture of Experts, TITAN）。TITAN 最初由三个专家组成，专注于序列中心的建模。然后，我们设计了一种低秩自适应方法，使 TITAN 同时能够进行以变量为中心的建模。此外，我们使用基于先验知识的建模策略来监督门控过程，以确保准确的路由。

在本研究中，我们提出了一种称为时空自适应嵌入的新组件，该组件在使用标准Transformer的情况下仍能产生卓越的结果。我们提出的时空自适应嵌入Transformer（STAEformer）在五个真实世界的交通预测数据集上达到了最先进的性能。

我们提出了一种新的自监督预训练框架——**时空解耦掩码预训练（STD-MAE）**，该框架采用两个解耦的掩码自编码器，在空间和时间维度上重构时空序列。通过这种重构学习到的丰富上下文表示可以无缝集成到任何架构的下游预测器中，从而增强它们的性能。

我们提出将道路网络中不同时间步的节点作为独立的时空标记，输入到一个标准的Transformer中，以学习复杂的时空模式，并设计了STformer模型，达到了SOTA（当前最优）的效果。由于其二次复杂度，我们基于Nyström方法引入了NSTformer，以线性复杂度近似自注意力机制，但在某些情况下性能甚至略微优于STformer。

本文提出了一种**基于图神经网络的时空门控注意力Transformer（STGAFormer）模型**，利用Transformer的编码器架构。模型中的门控时间自注意力机制（一个新模块）可以提高模型进行长期预测的能力，并通过增强本地和全球时间特征的提取来处理突发的交通事件。此外，本文提出了一个距离空间自注意力模块，该模块通过阈值化选择性地从附近和远处区域中识别关键特征。这样，模型吸收关键空间信息的能力得以提升。我们的模型还结合了多种输入，包括交通流属性、周期性、邻近邻接矩阵和自适应邻接矩

该论文提出了一种新颖的时空图Transformer模型，称为STGormer，用于交通预测。具体来说，该模型结合了交通数据中的属性和结构信息，能够有效地建模时空相关性，并通过混合专家模块捕捉交通流预测中的时空异质性。通过结合来自时空图的简单但有效的结构编码，该模型显著提高了预测准确性，并增强了Transformer理解图结构信息的能力。

我们提出了一种新颖的、考虑传播时延的动态长程Transformer模型，命名为PDFormer，用于精确的交通流预测。具体来说，我们设计了一个空间自注意力模块来捕捉动态的空间依赖性。然后，引入了两个图掩码矩阵，突出显示短程和长程视角的空间依赖性。此外，提出了一个延迟感知的特征变换模块，使PDFormer能够明确地建模空间信息传播中的时间延迟。在六个真实世界的公共交通数据集上的广泛实验结果表明，我们的方法不仅达到了最先进的性能，而且还表现出了竞争性的计算效率。

在本文中，我们提出了一种名为MUSE-Net的新型解纠缠学习网络，旨在通过同时分解交通流量中多周期模式的独特性和交互性，来克服纠缠学习的局限性。基于互信息理论，我们首先学习并解开多周期模式中的交通流量的独特和交互表示。然后，我们利用语义推动和语义拉动正则化来鼓励所学的表示独立且具有信息性。此外，我们提出了一种下界估计器，以可操作地优化具有多个变量的解纠缠问题，并提出了一种用于交通预测的联合训练模型。对多个真实世界交通数据集的实验结果证明了所提框架的有效性。

近年来，深度学习在交通预测领域越来越受到关注。现有的交通预测模型通常依赖于具有O(N²)复杂度的GCN或注意力机制来动态提取交通节点特征，这些方法效率低下且不够轻量。此外，这些模型通常只利用历史数据进行预测，而没有考虑目标信息对预测的影响。为了解决这些问题，我们提出了一种模式匹配动态记忆网络（PM-DMNet）。PM-DMNet采用了一种新颖的动态记忆网络，以仅O(N)的复杂度捕捉交通模式特征，大大降低了计算开销，同时实现了优异的性能。

本文提出了一种名为动态超图结构学习（DyHSL）的新模型，用于交通流预测。DyHSL通过超图结构学习和超图卷积捕捉交通网络中的复杂关系，还引入了交互式图卷积模块来探索高阶时空关系。实验结果表明，DyHSL在四个广泛使用的交通数据集上均表现优异，且在参数和计算效率方面也具有竞争力。该模型有效地处理了非配对关系和高阶互动关系，使得交通流预测更加准确。

论文提出了一种名为COOL的交通流量预测方法，利用联合时空图神经网络捕捉高阶时空关系。通过构建异构图和动态关系图，并采用多阶和多尺度自注意力解码器，COOL在多个真实数据集上表现优于现有模型，尤其在长时间预测方面。