机器学习周记（第二十二周：文献阅读-MAGNN续）2023.12.18~2023.12.24-优快云博客

本周深入学习了MAGNN模型内部结构，包含多尺度金字塔网络、自适应图学习模块等六大模块。多尺度金字塔网络捕获不同尺度特征，自适应图学习模块生成邻接矩阵，多尺度时序图神经网络进行时序卷积，尺度融合模块加权融合特征，最终经输出模块获预测值，还进行了复杂度分析。

摘要

ABSTRACT

1 多尺度金字塔网络（Multi-Scale Pyramid Network）

2 自适应图学习模块（Adaptive Graph Learning Module）

3 多尺度时序图神经网络（Multi-Scale Temporal Graph Neural Network）

4 尺度融合模块（Scale-Wise Fusion Module）

5 输出模块与损失函数（Output Module & Loss Function）

6 复杂度分析（Complexity Analysis）

7 相关代码

摘要

本周深入学习了MAGNN模型内部的结构，主要包括：多尺度金字塔网络、自适应图学习模块、多尺度时序图神经网络、尺度融合模块、输出模块与损失函数六大模块。其中多尺度金字塔网络用于捕获原始时间序列在不同尺度上的特征表示。自适应图学习模块用于捕获样本间的依赖关系，最终输出的是邻接矩阵。多尺度时序图神经网络用于根据输入的不同尺度时间序列和邻接矩阵进行时序卷积操作，得到最终的特定尺度下的特征表示。尺度融合模块加权融合特定尺度表示以捕获整个原始时间序列的时间模式。最终的多尺度特征表示被送入包括两个卷积神经网络的输出模块以获得预测值。模型参数根据损失函数进行更新。

ABSTRACT

This week, We delved into the internal structure of the MAGNN model, which mainly consists of six modules: the Multi-scale Pyramid Network, Adaptive Graph Learning Module, Multi-scale Temporal Graph Neural Network, Scale-Wise Fusion Module, Output Module, and Loss Function. The Multi-scale Pyramid Network is employed to capture feature representations of the original time series at different scales. The Adaptive Graph Learning Module captures dependencies among samples and ultimately outputs an adjacency matrix. The Multi-scale Temporal Graph Neural Network performs temporal convolution operations based on input time series of different scales and the adjacency matrix, producing feature representations specific to the chosen scale. The Scale-Wise Fusion Module combines weighted representations at specific scales to capture temporal patterns of the entire original time series. The resulting multi-scale feature representations are fed into the Output Module, consisting of two convolutional neural networks, to obtain predictions. Model parameters are updated based on the Loss Function.

1 多尺度金字塔网络（Multi-Scale Pyramid Network）

多尺度金字塔网络的主要作用是保存不同时间尺度上的潜在时间依赖。该网络按照金字塔结构，应用多个金字塔层将原始时间序列从小尺度到大尺度分层转换为特征表示。这种多尺度结构使我们有机会在不同的时间尺度上观察原始时间序列。具体而言，较小尺度的特征表示可以保留更细粒度的细节，而较大尺度的特征表示可以捕获时间序列的缓慢变化趋势。

多尺度金字塔网络通过金字塔层生成多尺度特征表示。每个金字塔层都将前一层的输出作为输入，并生成更大规模的特征表示作为输出。具体来说，给定输入 $MTS\; X\in\mathbb{R}^{N\times T}$ ，多尺度金字塔网络生成K个尺度的特征表示，第K个尺度的特征表示表示为 $X^{k}\in\mathbb{R}^{N\times \frac{T}{2^{k-1}}\times c^{k}}$ ，其中N为变量维数， $\frac{T}{2^{k-1}}$ 为第K个尺度的序列长度， $c^{k}$ 为第K个尺度的通道大小。

金字塔层使用卷积神经网络在时间维度上捕获局部模式。按照图像处理的设计理念，不同的金字塔层使用不同的卷积核大小。初始卷积核具有较大的filter，并且在每一金字塔层的大小缓慢减小，可以控制感受野的大小并保持大尺度时间序列的序列特征。例如，可以将每个金字塔层的卷积核大小设置为1×7、1×6和1×3，并将卷积的步幅设置为2以增加时间尺度。公式表示如下：

$X^{k}_{rec}=ReLU(W^{k}_{rec}\bigotimes X^{k-1}+b^{k}_{rec})$ ，

其中⊗表示卷积操作， $W^{k}_{*}$ 和 $b^{k}_{*}$ 分别表示第k个金字塔层中的卷积核和偏移向量。然而，不同的金字塔层有望在不同的时间尺度上保留潜在的时间依赖性。仅使用一个卷积神经网络的灵活性是有限的，因为在两个连续的金字塔层的特征表示中捕获的时间依赖关系的粒度对超参数设置（即核大小和步长）高度敏感。为了缓解这个问题，在现有的图像处理工作的基础上，论文引入了另一个卷积神经网络，其卷积核大小为1×1和池化层为1×2，它是与原始卷积神经网络并行的结构。公式表示如下：

$X^{k}_{norm}=Pooling(ReLU(W^{k}_{norm}\bigotimes X^{k-1}+b^{k}_{norm}))$ ，

然后，在每个尺度上对这两个卷积神经网络的输出进行逐点相加：

$X^{k}=X^{k}_{rec}+X^{k}_{norm}$ ，

由此，学习到的多尺度特征表示灵活而全面，能够保留各种时序依赖关系。在特征表示学习过程中，为避免MTS变量之间的相互影响，在时间维度上进行卷积操作，变量维度是固定的，即在每个金字塔层的变量维度之间共享卷积核。

2 自适应图学习模块（Adaptive Graph Learning Module）

自适应图学习模块自动地生成邻接矩阵来保存MTS中的变量间依赖关系。现有的基于学习的方法只学习一个共享的邻接矩阵，这样的好处在于可以在许多问题中学习MTS中最突出的变量间依赖关系，并且可以显著减少参数数量，避免过拟合问题。然而，变量间的依赖关系在不同的时间尺度下可能是不同的。共享邻接矩阵使模型偏向于学习一类突出的共享时态模式，因此，学习多个尺度特定的邻接矩阵至关重要。

但是，直接为每个尺度学习一个唯一的邻接矩阵会引入过多的参数，使模型难以训练，尤其是当节点数量较大时。为解决该问题，本文提出一种具有K个特定尺度层的自适应图学习模块（AGL）。受矩阵分解的启发，AGL有两类参数：1)节点嵌入 $E_{nodes}\in\mathbb{R}^{N\times d_{e}}$ 在所有尺度之间共享，其中 $d_{e}$ 为嵌入维度， $d_{e}<<N$ ；2)尺度嵌入 $E_{scale}\in\mathbb{R}^{K\times d_{e}}$ 。对于第k个特定尺度层，特定尺度的节点嵌入 $E^{k}_{spec}$ 通过将第k个尺度嵌入 $E_{scale}\in\mathbb{R}^{1\times d_{e}}$ 和节点嵌入 $E_{node}$ 逐点相乘得到。公式表示如下：