Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting

摘要

许多实际应用需要对长序列时间序列进行预测，例如耗电量计划。 长序列时间序列预测（LSTF）需要模型的高预测能力，即高效精确地捕获输出和输入之间的长期依赖关系的能力。 最近的研究表明，Transformer具有提高预测能力的潜力。

但是，Transformer有几个严重的问题，使其无法直接应用于LSTF，包括二次时间复杂度，高内存使用率，以及编码器-解码器体系结构的局限性。

为了解决这些问题，我们为LSTF设计了一个有效的基于Transformer的模型，称为Informer，具有三个独特的特征：

（i）ProbSparse自注意力机制，该机制在时间复杂度和内存上达到O（Llog L） 用法，并且在序列的依存关系对齐方面具有可比的性能。 

（ii）自我注意蒸馏通过将级联层输入减半而突出了注意注意力，并有效地处理了极长的输入序列。 

（iii）生成样式解码器虽然在概念上很简单，但它会以一种前向操作而不是循序渐进的方式预测较长的时间序列序列，从而大大提高了较长序列预测的推理速度。 在四个大型数据集上进行的大量实验表明，Informer明显优于现有方法，并为LSTF问题提供了新的解决方案。

Introduction

时间序列预测是许多领域的重要组成部分，例如传感器网络监控，能源和智能电网管理，经济和金融以及疾病传播分析。 在这些情景中，我们可以利用大量有关过去行为的时间序列数据来进行长期预测，即长序列时间序列预测（LSTF）。 然而，现有的方法大多是在短期问题下设计的，例如预测48点或更少。 越来越长的序列增加了模型的预测能力，使这种趋势使LSTF的研究成为现实。

LSTF的主要挑战是增强预测能力，以满足日益增长的长序列需求，这要求（a）出色的远程比对能力，以及（b）对输出和输出的长序列进行有效操作 。 最近，与RNN模型相比，Transformer模型在捕获远程依存关系方面表现出卓越的性能。 自注意力机制可将网络信号传播路径的最大长度减少到理论上最短的O（1），并避免循环结构，从而使Transfo