Transformer+时间序列预测，依然是顶会密码！看完这些你也行！

最近在时间序列预测领域，Transformer再次崭露头角！全新的iTransformer模型以其独特优势，在不修改任何模块的情况下，实现了全面领先。

事实上，「基于Transformer进行时间序列预测」 一直是研究的焦点之一。这主要归功于它在处理长时序问题和提高模型训练速度方面所具备的独特优势。随着深度学习的蓬勃发展，它更成为AI顶会中的常客。

为了给大家带来更多启发，我整理了 「12种前沿改进思路」，并涉及两个主要方向：
1.模型结构创新，以informer等为代表；
2.数据输入创新，以patch TST、ITranformer为代表。

25年该方向的创新可以参考以下方向：
1.把简单模型与patch尝试结合，并做一些小改进；
2.直接patch操作之后，进行注意力机制等的改进。

1.iTransformer

代表论文：iTransformer: Inverted Transformers Are Effective for Time Series Forecasting

「背景」：最近很多学者利用Transformers对时间序列的时间标记的全局依赖性进行建模，每个标记由相同时间戳的多个变量组成。然而，由于性能下降和计算爆炸，Transformers在具有较大lookback windows的预测序列中面临挑战。此外，每个时间标记的嵌入融合了表示潜在延迟事件和不同物理测量的多个变量，这可能无法学习以变量为中心的表示，并导致无意义的注意力图。
「简述」：该文在不对基本组件进行任何修改的情况下重新调整了Transformer架构的用途，提出了iTransformer，它将注意力和前馈网络应用于反向维度。具体地，作者将单个序列的时间点嵌入到变量标记中，注意力机制利用这些变量标记来捕捉多变量相关性；同时，将前馈网络应用于每个变量tokens，以学习非线性表示。

2.Scaleformer

代表论文：Scaleformer: Iterative Multi-scale Refining Transformers For Time Series Forecasting

「简述」：该文提出了一个通用的多尺度框架，该框架可应用于最先进的基于变压器的时间序列预测模型（FEDformer、Autoformer等）。通过使用共享权重在多个尺度上迭代重新定义预测的时间序列，引入架构调整和专门设计的归一化方案，使其能够在数据集和转换器架构中实现显著的性能改进，从5.5%提高到38.5%，同时将额外的计算开销降到最低。

3.InParformer

代表论文：InParformer: Evolutionary Decomposition Transformers with Interactive Parallel Attentionfor Long-Term Time Series Forecasting

「背景」：长期时间序列预测（LTSF）对捕捉长期相关性的模型能力提出了重要要求。具有自注意机制的Transformer，最初被提出用于对标记为离散的和高度语义的语言序列进行建模。然而，与语言序列不同，大多数时间序列都是连续的数字点。具有时域冗余的时间步长是弱语义的，仅利用时域标记很难描述整体属性时间序列（例如总体趋势和周期性变化）。
「简述」：该文提出了一种新的基于Transformer的预测模型，称为InParformer，该模型具有主动并行注意力（InPar Attention）机制。InPar注意力被提出用于在频域和时域中全面学习长程依赖关系。为了提高其学习能力和效率，该文进一步设计了几种机制，包括查询选择、键值对压缩和重组。此外，InPar前者采用进化季节趋势分解模块构建，以增强复杂的时间模式提取。

4.SMARTformer

代表论文：SMARTformer: Semi-Autoregressive Transformer with Efficient Integrated Window Attention for Long Time Series Forecasting

「简述」：该文介绍了SMARTformer，它代表SeMi自回归变换器。SMARTformer利用集成窗口注意（IWA）和半自回归（SAR）解码器从编码器和解码器的角度捕获全局和局部相关性。
IWA在多尺度窗口中进行局部自注意，并在具有线性复杂性的窗口中进行全局注意，以在局部和扩大的感受性长石中实现互补线索。SAR迭代生成子序列，类似于自回归（AR）解码，但以NAR方式引用整个序列。这样，SAR既受益于NAR的全局范围，也受益于AR的局部细节捕获。

5. GCformer

代表论文：GCformer: An Efficient Framework for Accurate and Scalable Long-Term Multivariate TimeSeries Forecasting

「简述」：该文提出了GCformer，它将用于处理长输入序列的结构化全局卷积分支与用于捕获短的最近信号的基于局部Transformer的分支相结合。利用三种不同的参数化方法，引入了全局卷积核的内聚框架。全局分支中所选的结构化卷积核是以亚线性复杂度专门制作的，从而能够有效处理冗长和有噪声的输入信号。对六个基准数据集的实证研究表明，GCformer优于最先进的方法，将多变量时间序列基准的MSE误差降低了4.38%，将模型参数降低了61.92%。

6.FEDformer

代表论文：FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting

「简述」：该文建议将Transformer与季节趋势分解方法相结合，其中分解方法捕获时间序列的全局轮廓，而Transformer捕获更详细的结构。为了进一步提高Transformer的长期预测性能，利用了大多数时间序列在傅立叶变换等众所周知的基础上往往具有稀疏表示的事实，并开发了一种频率增强的Transformer。

7.ETSformer

代表论文：ETSformer: Exponential Smoothing Transformers for Time-series Forecasting

「简述」：该文提出了一种新的时间序列变压器架构ETSformer，它利用指数平滑原理改进了用于时间序列预测的变压器。特别是受时间序列预测中经典指数平滑方法的启发，该文提出了新的指数平滑保持（ESA）和频率注意（FA）来取代普通变压器的自注意机制，从而提高了准确性和效率。在此基础上，使用模块化分解块重新设计了Transformer架构，使其能够学习将时间序列数据分解为可解释的时间序列组件，如级别、增长和季节性。

8.Autoformer

代表论文：Autoformer: Decomposition Transformers with Auto-Correlation for Long-Term SeriesForecasting

「简述」：该文将Autoformer设计为一种具有自相关机制的新型分解架构。打破了级数分解的预处理惯例，将其作为深度模型的基本内部块进行了更新。这种设计使Autoformer具有复杂时间序列的渐进分解能力。此外，受随机过程理论的启发，该文设计了基于序列周期性的自相关机制，在子序列层面进行相关性发现和表示聚合。Autoformer在六个基准上相对提高了38%，涵盖了五个实际应用：能源、交通、经济、天气和疾病。

​

如何学习大模型

现在社会上大模型越来越普及了，已经有很多人都想往这里面扎，但是却找不到适合的方法去学习。

作为一名资深码农，初入大模型时也吃了很多亏，踩了无数坑。现在我想把我的经验和知识分享给你们，帮助你们学习AI大模型，能够解决你们学习中的困难。

我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习，等录播视频免费分享出来，需要的小伙伴可以扫取。

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。

二、AI大模型视频教程

三、AI大模型各大学习书籍

四、AI大模型各大场景实战案例

五、结束语

学习AI大模型是当前科技发展的趋势，它不仅能够为我们提供更多的机会和挑战，还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型，我们可以深入了解深度学习、神经网络等核心概念，并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时，掌握AI大模型还能够为我们的职业发展增添竞争力，成为未来技术领域的领导者。

再者，学习AI大模型也能为我们自己创造更多的价值，提供更多的岗位以及副业创收，让自己的生活更上一层楼。

因此，学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。