double_piga的博客

我们提出了一种用于细粒度交通预测的时空记忆增强多级注意力网络，命名为ST-MAN。具体来说，我们设计了一个时空记忆网络，用于编码和记忆细粒度的空间信息和典型的时间模式。然后，我们提出了一个多级注意力网络，明确地在不同的空间尺度（如网格和区域层次）和时间尺度（如日常和每周层次）下，建模局部的短期时空依赖和全局的长期时空依赖。此外，我们设计了一个外部组件，使用外部因素和空间嵌入作为输入，更高效地生成外部因素对位置的影响。最后，我们设计了一个端到端的框架，通过对比目标和监督目标的联合优化来提升模型性能。

该论文提出了一种新的图神经网络架构——Graph WaveNet，用于空间-时间图建模。通过开发一种新的自适应依赖矩阵并通过节点嵌入进行学习，其模型能够精确捕获数据中的隐藏空间依赖关系。通过堆叠的扩张型一维卷积组件，其感受野随着层数的增加呈指数增长，Graph WaveNet 能够处理非常长的序列。这两个组件在统一的框架中无缝集成，整个框架通过端到端的方式进行学习。

这是一种用于交通预测的深度学习框架，结合了交通流中的空间和时间依赖性。具体来说，DCRNN 通过图上的双向随机游走捕捉空间依赖，并使用带有调度采样的编码器-解码器架构来捕捉时间依赖性。

首先提出了一种基于时间变化掩码增强的增强时序感知多头自注意力机制，能够更准确地建模交通网络中不同交通节点之间的动态时间依赖性。其次，我们提出了一种新的图学习策略，以同时学习道路网络中不同交通节点的静态和动态空间关联关系。同时，为了增强时间变化图学习的能力，设计了一种耦合图学习机制，能够耦合每个时间步长学习到的图。

我们提出了一种用于交通流量预测的异构专家混合模型（Heterogeneous Mixture of Experts, TITAN）。TITAN 最初由三个专家组成，专注于序列中心的建模。然后，我们设计了一种低秩自适应方法，使 TITAN 同时能够进行以变量为中心的建模。此外，我们使用基于先验知识的建模策略来监督门控过程，以确保准确的路由。

在本研究中，我们提出了一种称为时空自适应嵌入的新组件，该组件在使用标准Transformer的情况下仍能产生卓越的结果。我们提出的时空自适应嵌入Transformer（STAEformer）在五个真实世界的交通预测数据集上达到了最先进的性能。

我们提出了一种新的自监督预训练框架——**时空解耦掩码预训练（STD-MAE）**，该框架采用两个解耦的掩码自编码器，在空间和时间维度上重构时空序列。通过这种重构学习到的丰富上下文表示可以无缝集成到任何架构的下游预测器中，从而增强它们的性能。

我们提出将道路网络中不同时间步的节点作为独立的时空标记，输入到一个标准的Transformer中，以学习复杂的时空模式，并设计了STformer模型，达到了SOTA（当前最优）的效果。由于其二次复杂度，我们基于Nyström方法引入了NSTformer，以线性复杂度近似自注意力机制，但在某些情况下性能甚至略微优于STformer。