长时间序列预测模型Informer

【概念】

"Informer" 是一种时间序列预测模型。它是一种用于处理时间序列数据的深度学习模型，特别适用于长期依赖和具有多时间尺度的时间序列预测任务。Informer模型结合了Transformer和自注意力机制以及卷积神经网络（CNN）的特点，具有较好的建模能力。

Informer模型在时间序列预测领域具有广泛的应用。它可以用于许多任务，例如天气预测、交通流量预测、股票价格预测等。通过学习输入序列的内在模式和规律，Informer可以对未来的时间序列进行准确的预测。

【模型结构】

在一次反向传播就可输出复数的值。与transformer比较有①层数比transformer的少很多②经过注意力机制时压缩数据的维度③不需要多次的预测就可以输出复数的值④比transformer轻量

Encoder的作用是Self-attention Distilling，由于ProbSparse自相关机制有很多都是用V的mean填充的，所以天然就存在几余的attention sorce，因此在相邻的Attention Block之间应用卷积与池化来对特征进行下采样，所以作者在设计Encoder时，采用蒸馏的操作不断抽取重点特征，从而得到值得重点关注的特征图。论文中提到一种新的EncoderStack结构，由多个Encoder和蒸馏层组成。

其中序列的压缩是通过卷积层