ASTGNN(Localised Adaptive Spatial-Temporal Graph Neural Network)

最新推荐文章于 2025-01-12 18:21:16 发布

我要七分甜

最新推荐文章于 2025-01-12 18:21:16 发布

阅读量1.6k

点赞数 26

文章标签：深度学习人工智能

本文链接：https://blog.youkuaiyun.com/m0_55333280/article/details/140473993

版权

引言

本文主要探讨的问题是：能否以及在多大程度上对时空图模型进行局部化。并且将研究领域集中到ASTGNN上。ASTGNNs通常使用自适应图卷积层对空间依赖性进行建模。通过学习图邻接矩阵来捕获空间依赖性。因此，ASTGNN的局部化是通过邻接矩阵（仅捕获空间依赖性）的稀疏化来实现的，这也可以理解为空间图中的剪枝。为什么要研究时空图模型的局部化：

更深入的理解数据中的时间和空间依赖性：如果局部化导致编辑精度下降，则空间依赖性提供的信息已经很大程度上和时间依赖性重叠了，因此对于推理来说已经不必要了；
设计资源高效的ASTGNN：因为空间图的大小随顶点的数量呈二次方增长，所以ASTGNN的计算量很大，ASTGNN的局部化可以减少时空图模型的资源需求；
时空模型的分布式部署：传统的时空图模型的预测设计传感器节点之间的数据交换，时空图模型的局部化可以使各个传感器节点能够完成自主预测而无需彼此通信，这节省了宽带并保护了分布式系统中的隐私。

本文使用AGS(Adaptive Graph Sparsification, 自动梯度稀疏化)来局部化ASTGNN。AGS的核心是掩膜矩阵(mask matrix)L0正则化的可微近似。𝐿0-范数（即非零元素的数量）不是连续可微的，这使得它无法直接用于基于梯度的优化算法（如反向传播）。使用可微近似代替L0正则化之后，就可以使用反向传播算法来更新参数，实现稀疏化了。

局部ASTGNN是通过稀疏化Dense ASTGNN来实现的，如果使用相同的数据集对已经局部化的ASTGNN重新初始化和训练，得到的正确率会低很多。

ASTGNN

ASTGNN(Adaptive Spatial-Temporal Graph Neural Network)是一种结合了时空网络和图自适应学习两个模块的神经网络架构，旨在处理具有时间和空间依赖性的图结构数据。其核心思想是通过时空网络捕捉数据的时间动态性，并通过图自适应学习自动构建和优化图结构，以更好地建模节点间的空间关系。

时空数据作为图结构

取时间数据 $\mathcal{X} =\left \{ X_1,\ X_2, ..., \ X_T \right \}$ ，空间网络 $\mathcal{G} =\left \{ \mathcal{V}, \varepsilon \right \}$ 由一系列结点 $\mathcal{V}$ 和边 $\varepsilon$ 组成，令 $\left | \mathcal{V} \right | =N$ 。邻接矩阵 $A_t\in \mathbb{R}^{N\times N}$ 表示边，其中 $X_t\in \mathbb{R}^{N\times C}$ 表示时间t时维数为C的节点特征矩阵。

邻接矩阵(Adjacency Matrix)：邻接矩阵的每个元素表示两个节点之间是否有边相连。如果有边相连。则对应元素为1（在带权图中，改元素可能表示边的权重）；如果没有边相连，则对应元素为0。无向图的邻接矩阵是对称的，因为边是无向的，即节点i到节点j的边是同一条边。而有向图的邻接矩阵则不一定对称。

给定图片 $\mathcal{G }$ 和 $\mathcal{T }$ 个历史观测值