《Modeling Long- and Short-Term Temporal Patterns with DeepNeural Networks》学习总结

最新推荐文章于 2025-09-16 09:46:52 发布

原创

最新推荐文章于 2025-09-16 09:46:52 发布 · 1.1k 阅读

12 ·

CC 4.0 BY-SA版权

文章标签：

#学习

本文介绍了一种名为LSTNet的深度学习模型，专为处理具有混合长期和短期模式的时间序列数据而设计。通过结合卷积、循环神经网络及自回归层，LSTNet在Traffic等数据集中展示了优越的预测性能，尤其在捕捉重复周期模式上。实验对比VAR模型，证明了LSTNet的有效性。

一、题目

《Modeling Long- and Short-Term Temporal Patterns with Deep Neural Networks》

二、研究背景

多元时间序列预测是一个跨领域且重要的机器学习问题。在实际应用中的时态数据往往既具有长期模式也具有短期模式。传统的向量自回归模型无法捕捉多元信号的复杂非线性关系，从而以效率为代价导致性能下降；而高斯过程由于核矩阵的逆运算，在多元时间序列预测上也具有高计算复杂度。

三、创新点

1、针对时态数据中的长短期模式，提出LSTNet模型，通过对多种模型的组合实现对混合、重复时序的分析与预测。

2、针对间隔周期非常长的数据，通过改进GRU提出一种循环跳跃结构，对时序间的相关性进行了捕获。

四、问题分析

真实数据中，经常出现短期和长期模式混合的情景。下图绘制了高速公路每小时的占用率，以天为单位的周期可反映早晚之间的差异，以周为单位的周期可反映工作日和周末的差异。一个好的时间序列预测模型应该同时捕捉这两种重复出现的模式，从而进行准确的预测。

已知时间序列 $Y=\left \{ y_{1},y_{2},...,y_{T} \right \}$ ，其中 $y_{t}\in \mathbb{R}^{n}$ ，n是变量的维数，本文的目标是以滚动预测的方式预测一系列未来信号。也就是说，假设 $Y=\left \{ y_{1},y_{2},...,y_{T} \right \}$ 已知，预测目标则为 $y_{T+h}$ (h是当前时间向前预测的步长)。设时间t时的输入矩阵为 $X_{T}=\left \{ y_{1},y_{2},...,y_{t} \right \}\in \mathbb{R}^{n\times T}$