时间序列预测论文讲解-[arXiv 2024]PDMLP: Patch-based Decomposed MLP for Long-Term Time Series Forecasting

Long-Term Time Series Forecasting )

研究背景与动机

这篇文章主要做出了以下的一些思考：

• 注意力机制的局限性: 原始 Transformer 的注意力机制无法有效处理长期时间序列，容易受到噪声的影响。
• Patch 机制的有效性: 研究表明，Patch 机制在时间序列预测中起着重要作用，能够压缩数据、降低维度、减少冗余特征，并提供局部信息建模，从而提升模型性能。
• 通道混合 vs. 通道独立: 早期研究采用通道混合策略，将不同通道的信息融合，但近期研究表明通道独立模型可能更有效，即每个输入 token 仅包含来自一个通道的信息，将 MTS 视为独立的单变量序列进行处理。
• MLP 的潜力: MLP 的简单架构在 LTSF 任务中展现出惊人的潜力，能够超越复杂的 Transformer 模型，这引发了对 Transformer 模型有效性的质疑。

并提出了三个问题：

• 通道混合策略在 MTS 预测中是否真的无效？

文中指出，通道混合策略并非完全无效，而是需要谨慎使用。早期研究表明通道混合策略能够捕捉变量之间的交互作用，从而提升预测性能。然而，近期研究表明通道独立模型在 LTSF 任务中可能更有效，即每个输入 token 仅包含来自一个通道的信息，将 MTS 视为独立的单变量序列进行处理。PDMLP 模型采用了通道独立策略，并通过通道混合促进变量之间的语义信息交换，取得了优异的性能。这表明通道混合策略的有效性取决于具体的应用场景和模型设计。

• 简单分解原始时间序列