轻量化的长时间序列预测模型

✨✨ 欢迎大家来访Srlua的博文（づ￣3￣）づ╭❤～✨✨

🌟🌟 欢迎各位亲爱的读者，感谢你们抽出宝贵的时间来阅读我的文章。

我是Srlua小谢，在这里我会分享我的知识和经验。🎥

希望在这里，我们能一起探索IT世界的奥妙，提升我们的技能。🔮

记得先点赞👍后阅读哦~ 👏👏

📘📚 所属专栏：传知代码论文复现

欢迎访问我的主页：Srlua小谢 获取更多信息和资源。✨✨🌙🌙

​​

​​

​​​

目录

概述

SparseTSF模型

交叉周期稀疏预测

归一化

损失函数

代码解读

实验

实验结果分析

总结

---

本文所有资源均可在该地址处获取。

准确的预测可以帮助决策者进行前瞻性规划。通常，为了实现精确的预测，需要依赖强大而复杂的深度学习模型，例如递归神经网络（RNNs）、时间卷积网络（TCNs）和Transformer模型。

近年来，长期时间序列预测（LTSF）引起了越来越多的关注，它要求模型能够提供更长的预测视野以支持高级规划。然而，更长的预测视野也带来了更大的不确定性，这要求模型能够从更长的历史窗口中提取更广泛的时间依赖性。

​

因此，模型变得更加复杂，以捕捉这些长期的时间依赖性。例如，基于Transformer的模型通常有数百万甚至数千万个参数，这限制了它们在计算资源受限的场景中的实用性。本文解读的文章是《SparseTSF: Modeling Long-term Time Series Forecasting with 1k Parameters》，这篇文章已被ICML 2024接受为Oral文章，SparseTSF是一种新型轻量级长期时间序列预测模型，使用不到1k参数，通过交叉周期稀疏预测技术，在保持低计算资源需求的同时，达到SOTA性能。

概述

准确进行长期时间序列预测的基础在于数据的固有周期性和趋势。例如，家庭电力消耗的长期预测，因为这类数据中存在清晰日常和每周的模式。文章提出了一种新的设计轻量级LTSF模型的视角，即通过分解和转换原始序列的周期性和趋势，将周期模式转换为子序列间的动态，而趋势模式则重新解释为子序列内的特征。

​

SparseTSF模型采用了交叉周期稀疏预测技术，通过下采样原始序列来专注于跨周期趋势预测，有效地提取周期特征，同时最小化模型的复杂性和参数数量。SparseTSF模型使用不到1k个参数，如下图，与现有模型相比，在参数规模上小了一到四个数量级，并且实现了接近SOTA的效果。

​

SparseTSF模型

LTSF的目标是使用历史观测窗口LL长度的多变量时间序列数据来预测未来HH长度的时间序列。这可以形式化为：

xˉt+1:t+H=f(xt−L+1:t)xˉt+1:t+H​=f(xt−L+1:t​)

其中，xt−L+1:t∈RL×Cxt−L+1:t​∈RL×C和 xˉt+1:t+H∈RH×Cxˉt+1:t+H​∈RH×C。这里，CC 是不同特征或通道的数量。

在处理多变量时间序列数据时，我们通常使用通道独立策略，即通过关注数据集中的单个单变量时间序列来简化预测过程。这种方法为每个单变量序列找到一个共享的函数，减少了考虑通道间关系的复杂性。

SparseTSF模型基于交叉周期稀疏预测技术，这一技术是SparseTSF的核心，通过下采样原始序列结合通道独立策略来专注于跨周期趋势预测，有效地提取周期特征，同时最小化模型的复杂性和参数数量。

交叉周期稀疏预测

假设时间序列xt−L+1:t(i)xt−L+1:t(i)​具有已知的周期性ww，首先将原始序列下采样成 ww 个子序列，每个子序列的长度为 n=⌊Lw⌋n=⌊wL​⌋。然后，对这些子序列进行预测。预测后，将 ww 个子序列上采样回完整的预测序列，每个子序列的长度为 m=⌊Hw⌋m=⌊wH​⌋。

交叉周期稀疏预测通过以下步骤简化预测任务：

• 下采样：将具有固定周期性的数据序列下采样成子序列。例如，如果数据具有日周期性，可以将每天的数据下采样成一个数据点，形成一个新的子序列。具体操作为，将原始序列重塑为 n×wn×w 的矩阵，然后转置。
• 稀疏滑动预测：对每个下采样的子序列进行趋势预测。这一步骤将原始的时间序列预测任务转化为跨周期趋势预测任务。具体操作为，在矩阵的最后一个维度上应用线性层，得到 w×mw×m 的矩阵。
• 上采样：将预测出的子序列结果上采样回原始序列的长度，以得到完整的预测序列。具体操作为，转置 w×mw×m 矩阵并重塑为长度为 HH 的完整预测序列。

但由于每个周期只利用一个数据点进行预测，忽略了其余数据点