长序列预测论文LTSF-Linear解读&实战 |
文章目录
- 论文代码Github链接:https://arxiv.org/pdf/2205.13504.pdf
- 论文代码Github链接:https://github.com/cure-lab/LTSF-Linear
一. 引言
- Transformer的主要能力来自其多头的自注意机制,该机制具有提取长序列元素之间语义相关性的显著能力(例如文本中的单词或图像中的2D补丁)。然而,在某种程度上,自注意力计算是一种排列不规则(permutation-invariant)和“反秩序”(anti-orde