论文笔记《ST-GRAT: A Novel Spatio-temporal Graph Attention Network for Accurately Forecasting》

最新推荐文章于 2025-04-22 17:30:54 发布

原创

最新推荐文章于 2025-04-22 17:30:54 发布 · 2.1k 阅读

CC 4.0 BY-SA版权

文章《ST-GRAT: A Novel Spatio-temporal Graph Attention Network for Accurately Forecasting Dynamically Changing Road Speed》

1. INTRODUCTION

预测道路交通速度的难点：（1）路段类型不同；（2）速度的突然变化；（3）路段间的空间依赖性。
存在问题1： 很多基于图卷积和循环神经网络的深度学习方法用于预测交通速度，例如扩散递归神经网络DCRNN 和 Graph WaveNet，但这些模型的问题是：假设路段的空间依赖性是固定的， 因此计算一次空间依赖性就不变了，没有考虑交通状态的动态变化性。为解决这个问题，现有模型应用 多头注意力 对空间依赖性建模，但没考虑整体图结构信息（如节点的距离、连通性和方向）
存在问题2： 很多模型都用RNN对时间维度建模，但RNN难以捕获长程相关关系。为解决这个问题，可以加入attention，但现有研究没有考虑时间动态性，比如有的节点在不必要的情况下也会聚合邻居节点信息。
本文提出名为 spatio-temporal graph attention (ST-GRAT) 的模型，包含三方面：（1） spatial attention 模块，包括扩散过程diffusion prior 、有向头directed heads 和距离嵌入distance embedding ；（2）temporal attention 模块捕获交通速度变化；（3）sentinel vectors 前哨向量模块，本文设计空间前哨(spatial sentinel) 的 key 和 value 向量。
实现动态允许模型从空间相关节点获取新特征或保留现有特征。

目标是预测每个感测器处的未来交通速度。
输入图是 $\mathcal{G}=(\mathcal{V}, \mathcal{E}, \mathcal{A})$ ， $\mathcal{V}$ 是传感器点集， $\mathcal{E}$ 是边集， $\mathcal{A}$ 是有权重的邻接矩阵。
$t$ 时刻输入的特征矩阵 $X^{(t)} \in \mathbb{R}^{N \times 2}$ ， $N$ 是节点数目， $2$ 是特征数（速度和时间戳）

模型整体结构如下：
在这里插入图片描述

在这里插入图片描述

空间注意力层由多头注意力组成，奇数序号的头表示inflow，偶数序号的头表示outflow。定义Encoder层的隐藏层状态是 $\mathcal{Z}=\left[z_{i}, \cdots, z_{N}\right]$ ， $z_{i} \in \mathcal{R}^{d_{\text {model}}}$ 是第 $i$ 节点的隐藏状态。 $\mathcal{N_{i}}$ 是第 $i$ 节点及其邻居节点。为防止关注到无关信息，加入空间前哨 key \ value 向量。
$o_{i}^{h} \in \mathcal{R}^{d_{v}}$ 表示第 $h$ 注意力头的第 $i$