机器学习周记（第三十周：文献阅读-SageFormer）2024.3.11~2024.3.17

目录

摘要

ABSTRACT

1 论文信息

1.1 论文标题

1.2 论文摘要 

1.3 论文背景

2 论文模型

2.1 问题描述

2.2 模型信息

2.2.1 Series-aware Global Tokens（序列感知全局标记）

2.2.2 Graph Structure Learning（图结构学习）

2.2.3 Iterative Message Passing（迭代信息传递）

3 相关代码

---

摘要

  本周阅读了一篇时间序列预测的论文，改论文模型（SageFormer）使用GNN结合Transformer的框架实现。SageFormer在使用Transformer建模序列间依赖关系的同时还注重于使用GNN建模序列间依赖关系，减少跨序列的冗余信息。模型主要包括两个过程：全局标记的生成、迭代的消息传递。全局标记的生成为每个序列添加了随机初始化的可学习标记，以封装它们对应的全局信息，以此增强序列感知能力。迭代的消息传递使得全局信息在每个序列的所有标记之间进行传播，以此捕获序列内部和序列间的依赖关系。

ABSTRACT

This week, We read a paper on time series prediction, which introduces a model called SageFormer that utilizes a framework combining GNN with Transformer. SageFormer focuses on modeling both intra-series and inter-series dependencies using Transformer for the former and GNN for the latter, aiming to reduce redundant information across series. The model mainly consists of two processes: the generation of global tokens and iterative message passing. The generation of global tokens involves adding randomly initialized learnable tokens to each series to encapsulate their corresponding global information, thereby enhancing series awareness. The iterative message passing facilitates the propagation of global information among all tokens within each series, capturing both intra-series and inter-series dependencies.

1 论文信息

1.1 论文标题

SageFormer: Series-Aware Framework for Long-Term Multivariate Time Series Forecasting

1.2 论文摘要 

  在新兴的物联网生态系统中，多元时间序列（MTS）数据变得无处不在，凸显了时间序列预测在众多应用中的基础作用。长期MTS预测的关键挑战是如何找到能够捕捉序列内和序列间依赖关系的成熟模型。最近深度学习的进展，特别是Transformer中，展现出了解决这一问题的希望。然而，许多流行的方法要么边缘化了序列间的依赖关系，要么完全忽略了它们。为弥补这一缺失，本文提出了一个新的序列感知框架，明确地强调这种依赖关系的重要性。这个框架的核心在于论文模型：SageFormer。作为一种序列感知的图增强Transformer模型，SageFormer可以使用图结构熟练地识别和建模序列之间的复杂关系。除了捕获不同的时间模式，它还减少了跨序列的冗余信息。值得注意的是，序列感知框架与现有的基于Transformer的模型无缝集成，丰富了它们理解序列间关系的能力。在真实数据集和合成数据集上的广泛实验验证了SageFormer相对于当前最先进方法具有更加优秀的性能。

1.3 论文背景

  随着物联网（IoT）的兴起，越来越多的互连设备已经进入人们的日常生活，从工业和智能家居到医疗保健和城市规划。这些设备持续产生、交换和处理大量数据，形成了一个复杂的通信网络。在产生的各种数据形式中，多元时间序列（MTS）数据是一种特别普遍且关键的类型。源自物联网设备内部多个传感器或处理器的同时观测，MTS数据呈现出物联网固有的复杂相互作用和时间动态的现象。在这个蓬勃发展的物联网驱动的数据环境中预测未来行为至关重要。在物联网系统中，预测MTS数据优化操作并确保安全，特别是在能源、交通和天气等关键领域。尽管目前的研究大多强调了对短期预测的需求，以应对即时挑战，但长期预测领域同样具有重要意义。长期预测为人们提供了对MTS数据中更大时间模式和关系的洞察。然而，在长时间范围内进行建模会放大即使是十分微小的噪声，使任务变得更加具有挑战性，但也无疑具有重要价值