机器学习周记（第十一周：GNN）2023.10.2~2023.10.8

原创

已于 2023-10-09 15:05:36 修改 · 449 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #人工智能 #深度学习

于 2023-10-08 12:00:00 首次发布

本文介绍了图神经网络(GNN)的基础知识，包括其在节点预测和分类任务中的应用，以及不同类型的GNN模型如DCNN、DGC、GAT等。重点讲解了TEDGER模型，一种用于多变量时间序列预测的深度学习方法，强调了考虑全局特征和序列模式的重要性。

3 Spacial-based Convolution

3.1 Diffusion-Convolution Neural Network

3.2 Diffusion Graph Convolution

3.3 Mixture Model Networks

3.4 Graph Attention Network

3.5 GraphSAGE

3.6 Graph Isomorphism Network

4 相关代码

总结

摘要

本周我初步学习了GNN的基础知识，明白了什么是GNN。GNN的输入数据类型是图结构的数据，而现实世界中就存在着大量的图结构数据，这些数据同样可以用GNN来对节点做预测，做分类等等。同样GNN也有许多不同的方法来处理数据，比如说DCNN、DGC、GAT等。本周我使用代码定义了一个GAT的模型，我还阅读了一篇关于多变量时间序列预测的论文，通过这篇论文我大致理解了多变量时间序列的预测方式。

ABSTRACT

This week, I have started learning the fundamentals of GNN and gained an understanding of what GNN is. GNN takes graph-structured data as input, and in the real world, there is a wealth of graph-structured data. These data can also be used with GNN for tasks such as node prediction and classification. Additionally, GNN offers various methods for data processing, such as DCNN, DGC, GAT, etc. During this week, I defined a GAT model using code. I also read a paper on multivariate time series prediction, which gave me a rough understanding of how multivariate time series prediction works.

1 文献阅读

论文标题：融合全局和序列特征的多变量时间序列预测方法

论文摘要：本文提出了一种基于深度学习的多变量时间序列预测模型TEDGER，可以提取隐藏在单个时间序列中的序列模式和隐藏在多变量时间序列中的全局特征，并将序列模式和全局特征进行融合，通过残差预测的方式实现时间序列的预测，并在实验中展示了其优越性和可解释性。

论文背景：时间序列在现实生活中具有广泛的应用，通过时间序列预测模型可以预测序列的未来变化趋势，为决策提供支持。

过去方案：早期的统计学方法，如自回归模型和指数平滑模型，只能建模特征之间的线性关系，限制了模型的预测精度。随着深度学习的引入，模型可以建模特征之间的非线性关系，具有更强的学习能力。但是过去的多变量时间序列预测方法存在一些问题，如不能同时考虑时间序列本身和协变量（影响预测变量结果的其他变量）的信息，忽略了多变量时间序列中的全局信息，以及无法对预测结果进行解释等。

论文方案：本文提出了一种名为TEDGER的新型基于深度学习的多变量时间序列预测模型。TEDGER主要由四个模块构成：编码器、解码器、残差序列捕获模块和趋势预测模块。历史时间序列 $Y_{1:t}$ 经残差序列捕获模块和趋势预测模块处理之后得到原时间序列的残差序列，作为编码器的输入，编码器对残差序列和协变量进行编码后得到序列的隐状态，输入解码器得到未来 $\zeta$ 时间步的残差预测。趋势预测模块捕获历史时间序列的全局特征和未来变化趋势模式。最后，结合未来残差的预测和变化趋势的预测得到最终的预测结果。

解决问题：考虑一个变量数为 $M$ 的历史时间序列矩阵 $Y\epsilon \mathbb{R}^{M\times T}$ ，其中序列 $y ^{i}$ 是第 $i$ 个变量的时间序列。已知 $Y$ 在过去 $T$ 个时间步的值为 $Y_{1:T}$ ，与此同时，已知和 $Y$ 相关的协变量张量 $X\epsilon \mathbb{R}^{M\times N\times (T+\zeta )}$ ，其中 $N$ 是协变量的个数，每个子矩阵 $X^{i}$ 都是随时间变化的序列，代表与序列 $y^{i}$ 相关的协变量矩阵。与时间序列 $Y$ 不同，假设所有的协变量 $X$ 在未来的时间步上是已知的或者是可以被推断出来的，故可以在预测时使用。