OLinear: A Linear Model for Time Series Forecasting in Orthogonally Transformed Domain

OLinear: A Linear Model for Time Series Forecasting in Orthogonally Transformed Domain
线性:正交变换域时间序列预测的线性模型

Abstract

本文提出了一种基于线性的多元时间序列预测模型OLinear，该模型在正交变换域内运行。目前的预测模型通常采用时间预测(TF)范式，直接在时域对时间序列进行编码和解码。然而，序列数据中纠缠的逐步依赖关系会影响TF的性能。为了解决这个问题，一些预测者使用固定的、与数据集无关的基(例如，傅里叶变换中的正弦和余弦信号)在变换域中进行编码和解码。相比之下，我们使用了OrthoTrans，这是一种基于正交矩阵的数据自适应变换，它对角化了序列的时间Pearson相关矩阵。这种方法可以在去相关特征域实现更有效的编码和解码，并且可以作为插件模块来增强现有的预测器。为了增强多变量时间序列的表示学习，我们引入了一个自定义的线性层NormLin，它使用规范化的权重矩阵来捕获多变量依赖关系。根据经验，NormLin模块比多头自注意力机制显示出令人惊讶的性能优势，同时需要近一半的FLOPs。在24个基准和140个预测任务上进行的大量实验表明，线性方法始终如一地以高效率达到最先进的性能。值得注意的是，作为自注意力机制的插件替代品，NormLin模块始终增强了基于transformer的预测器。

1 Introduction

多元时间序列预测在天气、交通、能源和金融等领域至关重要。时间序列预测者通常采用时间预测(TF)范式，将时间序列编码为潜在表征并将其解码，所有这些都在时域内。然而，在存在纠缠的序列内依赖关系的情况下，该范式难以充分利用预测潜力。为了缓解这一问题，最近的研究使用傅里叶或小波变换来获得去相关的特征序列，并在变换域进行编码和解码。然而，这些方法依赖于与数据集无关的数据库，无法利用特定于数据集的时间相关信息。

在本文中，我们介绍了OrthoTrans，这是