【论文复现】基于深度学习的高效时序预测

原创 于 2024-12-29 08:00:00 发布
· 962 阅读 · 42 ·
版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能 #python #数据挖掘 #数据分析

在这里插入图片描述

📝个人主页🌹：Eternity._
🌹🌹期待您的关注 🌹🌹

在这里插入图片描述
在这里插入图片描述

❀ 基于深度学习的高效时序预测

概述

2022年，清华大学软件学院的学者提出了Autoformer:用于长期时间序列预测的自相关分解Transformer延长预测时间是实际应用的关键需求，如极端天气预警和长期能耗规划。本文研究了时间序列的长期预测问题。先前的基于 Transformer 的模型采用各种自注意力机制来发现长期依赖关系。然而，长期未来复杂的时间模式禁止模型找到可靠的依赖关系。本文通过对Transformer进行改进，通过序列分解和全新的自相关机制对时序数据进行建模，在各种公开的数据集上达到了很好的效果
代码转载自 Autoformer

一、论文思路

为了解决长期未来复杂的时间模式，作者将Autoformer作为分解体系结构，通过设计内部分解模块，使深度预测模型具有内在的渐进分解能力。同时作者提出了一种在序列级别上具有依赖关系发现和信息聚合的自相关机制。我们的机制超出了以前的自注意力家族，可以同时提高计算效率和信息利用率。

本文所涉及的所有资源的获取方式：这里

二、论文模型

作者改进了经典的Transformer模型，包括内部序列分解块、自相关机制以及相应的编码器和解码器。
(1).作者首先通过原数据减去池化平均项，获得分解项备用
(2).编码器，待训练的原始时序数据经过自相关机制，时序分解模块，前馈神经网络以及再一次时序分解模块获得编码器的结果，其中，从输入到第一个时序分解和从第一个时序分解模块到最后一个有一个残差连接。
(3).解码器，将(1)中获得的分解项和(2)的输出结果一并输入到解码器中，解码器会经过两次自相关机制和时序分解，在第二次自相关中会接受来自编码器的输出和自身模型前一个阶段的输出同时作为输入。最后经过前馈网络和序列分解。其中每一个序列分解都会加入原始的序列数据作为残差连接。
在这里插入图片描述

三、实现方法

1.TimesDecomp
主要是对原始项进行池化得到池化项，在相减获得剩余项，由此进行序列分解

在这里插入图片描述
2Auto-Correlation
作者提出了具有串联连接的自相关机制来扩展信息利用率。自相关通过计算序列自相关来发现基于周期的依赖关系，并通过时间延迟聚合聚合相似的子序列。

在这里插入图片描述
类似Transformer 输入的数据经过Linear层变换得到Query,Key,Value.不同于attention机制，Q,K经过快速傅里叶变换后 K经过共轭操作和Q相乘后，经过傅里叶反变换，和V做 time delay agg 操作。
3.time delay agg操作基于所选时间延迟τ1，···，τk对序列进行滚动。该操作可以对齐在估计周期的同一相位位置相似的子序列，这与自我注意家族中的逐点点积聚合不同。最后，我们通过 softmax 归一化置信度聚合子序列。

在这里插入图片描述
4.前馈网络（FFN）：与前向传播类似，包含多层感知机(MLP)和归一化层(LN)。
损失函数：L1 loss 和 L2 loss,或二者结合。

四 复现论文

在这里插入图片描述
论文中的结果显示该模型的效果非常好。

使用方式

代码结构

在这里插入图片描述
总程序入口在 run.py,运行之前注意请新建一个 data的文件夹，把需要训练的数据放进文件夹中：

在这里插入图片描述
相关的数据位于
Google Drive中。注意科学上网。

附件中也包含数据。
作者准备了相关脚本，直接运行即可一键训练，开箱即用
bash ./scripts/ETT_script/Autoformer_ETTm1.sh
bash ./scripts/ECL_script/Autoformer.sh
bash ./scripts/Exchange_script/Autoformer.sh
bash ./scripts/Traffic_script/Autoformer.sh
bash ./scripts/Weather_script/Autoformer.sh
bash ./scripts/ILI_script/Autoformer.sh
注意如果需要使用论文以外的数据，请保证数据是csv格式，且在 data_provider/data_loader.py 中进行类的改写
如果不想采用脚本，可以通过以下命令启动程序：

python -u run.py \
  --is_training 1 \ ##是否训练
  --root_path ./dataset/ETT-small/ \ 数据集类型
  --data_path ETTh1.csv \ ##数据文件
  --model_id ETTh1_96_24 \ ##模型id
  --model Autoformer \
  --data ETTh1 \ ##数据类型
  --features M \ ##数据特征维度
  --seq_len 96 \ ##输入长度
  --label_len 48 \ ##标签长度 该项不得高于 seq_len
  --pred_len 24 \  ##预测长度
  --e_layers 2 \  ## 编码器层数
  --d_layers 1 \  ## 解码器层数
  --factor 3 \ 
  --enc_in 7 \ ## 编码器特征维度
  --dec_in 7 \ ## 解码器特征维度
  --c_out 7 \ ##输出维度
  --des 'Exp' \
  --itr 1   ## 训练epochs

训练演示截图

在这里插入图片描述
训练结果，使用的ETTm2 数据集可以看到和论文中的数字相差不大

在这里插入图片描述

部署方式

Python 3.6, PyTorch 1.9.0. 相关库在requirements.txt中

编程未来，从这里启航！解锁无限创意，让每一行代码都成为你通往成功的阶梯，帮助更多人欣赏与学习！

更多内容详见：这里

时序预测：多头注意力+宽度学习
程序猿追的博客
09-29 845
他们通过列举之前的研究表明，带有注意力机制的模型可以通过捕获一部分语义信息来确保信息的有效性，从而在不同层次捕获丰富的信息。然后，重新构建的混沌时间序列数据被BLS的特征层和增强层随机映射并增强到高维系统，从而生成含有不同模式的混沌时间序列的混合特征。在上面的多头注意力层中，我们手动搭建了一个多头注意力层，并复现了论文中的前馈网络层。因此，作者提出了使用宽度学习系统（BLS）来扩展混沌时间序列数据的维度，并引入多头注意力机制来提取不同级别的语义信息，包括线性和非线性相关性、混沌机制和噪声。
基于深度学习的高效时序预测
程序猿追的博客
09-27 776
(3).解码器，将(1)中获得的分解项和(2)的输出结果一并输入到解码器中，解码器会经过两次自相关机制和时序分解，在第二次自相关中会接受来自编码器的输出和自身模型前一个阶段的输出同时作为输入。(2).编码器，待训练的原始时序数据经过自相关机制，时序分解模块，前馈神经网络以及再一次时序分解模块获得编码器的结果，其中，从输入到第一个时序分解和从第一个时序分解模块到最后一个有一个残差连接。自相关通过计算序列自相关来发现基于周期的依赖关系，并通过时间延迟聚合聚合相似的子序列。论文中的结果显示该模型的效果非常好。
基于 Keras 用深度学习预测时间序列
04-06
基于 Keras 用深度学习预测时间序列 基于 Keras 用深度学习预测时间序列
第TR3周：Pytorch复现Transformer
lihuhelihu的博客
08-02 2777
Transformer可以看作是seq2seq模型的一种，因此，先从seq2seq的角度对Transformer进行宏观结构的学习。下图1先便是Transformer整体结构图，与seq2seq模型类似，Transformer模型结构中的左半部分为编码器，右半部分为解码器，下面我们来一步步拆解Transformer。在某种程度上，可以将Transformer看作是Seq2Seq的一种演变，Transformer可以执行Seq2Seq任务，并且相对于传统的Seq2Seq模型具有更好的性能和可扩展性。
一文深度学习建模预测全流程(Python)
算法进阶
11-13 6140
本文详细地梳理及实现了深度学习模型构建及预测的全流程，代码示例基于python及神经网络库keras，通过设计一个深度神经网络模型做波士顿房价预测。主要依赖的Python库有：keras、scikit-learn、pandas、tensorflow（建议可以安装下anaconda包，自带有常用的python库） 一、基础介绍 机器学习 机器学习的核心是通过模型从数据中学习并利用经验去决策。进一步的，机器学习一般可以概括为：从数据出发，选择某种模型，通过优化算法更新模型的参数值，使任务的指标表现变好（学习
⌈ 传知代码 ⌋ 基于深度学习的高效时序预测
Dream_Y.ocean的博客
08-09 763
2022年，清华大学软件学院的学者提出了Autoformer:用于长期时间序列预测的自相关分解Transformer延长预测时间是实际应用的关键需求，如极端天气预警和长期能耗规划。本文研究了时间序列的长期预测问题。先前的基于 Transformer 的模型采用各种自注意力机制来发现长期依赖关系。然而，长期未来复杂的时间模式禁止模型找到可靠的依赖关系。本文通过对Transformer进行改进，通过序列分解和全新的自相关机制对时序数据进行建模，在各种公开的数据集上达到了很好的效果综上，我们基本了解了。
深度学习 股市预测
12-25
深度学习 股市预测，与AR（10）模型进行对比，数据是韩国股价
2019年深度学习的十大预测
云栖社区
01-29 1079
摘要：如果连思考方式都是错的，机器学习肯定不会有很大的进步！2018年已结束，现在是开始预测2019深度学习的时候了。以下是我之前对2017年和2018年的预测和回顾：关...
深度学习复盘与论文复现C
QuantumYou的博客
06-09 1193
RNN（Recurrent Neural Network，循环神经网络）是一种具有“记忆”功能的神经网络，它特别适合处理序列数据，如文本、语音、时间序列等。RNN通过在其内部结构中引入循环，使得网络能够捕捉序列中的时间依赖性和动态性。RNN 的公式表示在 RNN 中，隐藏状态 和输出 的计算通常使用以下公式：其中：RNN 的问题尽管 RNN 在处理序列数据方面非常有效，但它也面临一些问题：RNN 的变体为了解决这些问题，研究人员提出了 RNN 的多种变体，其中最著名的是 LSTM（Long Short-
深度学习复盘与论文复现E
QuantumYou的博客
07-21 1547
NS模块是一个标准的编码器，包含四个1-D卷积层，分别有1024、512、128和32个内核。MTB模块的最终输出包括三个时序特征图集，每个时序特征图集由1024个特征图组成，大小为1×4×4。最后，将每个特征映射集转换为2048维的一维潜在特征向量，从而形成DFE模块的输入。抑郁症识别模型：采用的GAT模型包含一个GAT层，一个读出层和三个FC层，附加RLU激活函数。：对于AVEC2013和AVEC2014数据集的实验，使用了由三个ResNet-.50网铬组成的MTB模块，这。MTB_DFE运行结果。
深度学习做回归预测的文章合集
11-01
里面包含很多篇神经网络做回归预测的参考文献，参考价值相当大，喜欢的可以下载参考一下
基于深度学习的金融时间序列分析与预测毕业论文【附数据】
算法与数据
10-24 1205
两个时序变量之间的信息流是双向的、非对称的且时变的，因此单一的谷歌趋势指标难以全面捕捉WTI价格的波动特征。首先，本文应用多重分形去趋势交叉相关性分析（Multi-fractal Detrended Cross-Correlation Analysis, MF-DCCA）方法，分析了百度指数与人民币汇率之间的交叉相关性以及这种相关性在疫情前后的变化。本文主要研究了典型的金融时间序列，并利用网络大数据作为外源数据，通过深度学习方法对金融时间序列的预测及相关性分析进行了深入探讨。深度学习在金融中的应用。
【论文解读系列】Kaggle经验-时间预测序列和深度学习模型的关系
m0_73776435的博客
08-14 835
与深度神经网络（DNN）模型类似，该文作者通过将时间序列预测任务转化为一个基于窗口的回归问题，对GBRT模型的输入和输出结构进行了特征设计，例如，对于每个训练窗口，目标值与外部特征相连接，然后扁平化形成一个多输出GBRT模型的输入实例。模型是本研究中最新的DNN方法，通过将用于局部处理的递归层与捕捉数据中长期依赖关系的转化器典型的自我注意层相结合，该模型不仅可以在学习过程中动态地关注相关的特征，而且还可以通过门控机抑制那些被认为是不相关的特征。是一个概率生成模型，使用RNN学习参数化的线性状态空间模型。
一文了解深度学习实战——预测篇
全栈O-Jay的博客
11-06 3499
本文将从四个案例 房价预测、泰坦尼克号生还预测、股票预测、影评情感预测 入手，让童鞋们从实战角度快速入门深度学习！
【深度学习时间序列预测案例】零基础入门经典深度学习时间序列预测项目实战（附代码+数据集+原理介绍）
热门推荐
优快云 精品推荐
01-07 4万+
本专栏整理了《深度学习时间序列预测案例》，内包含了各种不同的基于深度学习模型的时间序列预测方法，例如LSTM、GRU、CNN（一维卷积、二维卷积）、LSTM-CNN、BiLSTM、Self-Attention、LSTM-Attention、Transformer等经典模型，包含项目原理以及源码，每一个项目实例都附带有完整的代码+数据集。
深度学习建模预测全流程（Python）！
小白学视觉
08-20 2100
点击上方“小白学视觉”，选择加"星标"或“置顶” 重磅干货，第一时间送达本文详细地梳理及实现了深度学习模型构建及预测的全流程，代码示例基于python及神经网络库keras，通过设计一个深度神经网络模型做波士顿房价预测。主要依赖的Python库有：keras、scikit-learn、pandas、tensorflow（建议可以安装下anaconda包，自带有常用的python库）一、基础介绍机...
基于深度学习的大数据预测方法
AI天才研究院
11-13 1160
深度学习与大数据预测方法 关键词：深度学习，大数据预测，神经网络，RNN，CNN，图像预测，文本预测，多模态预测 摘要：本文将详细介绍基于深度学习的大数据预测方法，从基础知识到实际应用，深入探讨深度
深度学习可以做数据预测吗？深度学习有什么用？
gu1857035894的博客
05-31 4181
大家都认为深度学习主要是识别功能，是机器学习领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能，那深度学习可以做数据预测吗？深度学习有什么用？本篇为大家解答这个问题。深度学习可以做数据预测吗？不知道你的预测功能怎么定义，其实深度学习都应该是预测功能才对。我们通过一大堆的数据训练一个模型，然后来了一个新数据，我们用训练得到的模型对新数据进行推理，这不应该是一种预测么??好了，机灵抖完了，正经回答问题，其实深度学习可以做的预测功能还挺多的，比如：短时天气预测，温度预测等。深度学习有什么用
itransformer复现调参
最新发布
03-23
### 如何复现Transformer模型及进行超参数调整 #### 复现Transformer模型的关键要素 为了成功复现Transformer模型，需理解其核心架构并按照标准实现方法构建。以下是几个重要方面： 1. **输入嵌入与位置编码** 输入序列通过词嵌入矩阵转换为向量表示，并加入位置编码以引入顺序信息[^1]。这一步对于捕捉序列中的相对距离至关重要。 2. **多头自注意力机制 (Multi-head Attention)** 自注意力模块允许模型关注不同部分的信息权重分布。具体而言，Q、K、V三个张量分别代表查询(Query)、键(Key)以及值(Value)，它们经过线性变换后计算得到注意力分数。 3. **前馈神经网络 (Feed Forward Network)** 每个子层之后连接一个全连接前馈网络，该结构由两个线性变换组成，中间夹带ReLU激活函数。 4. **残差连接与标准化** 在每个子层应用残差连接(residual connection)，随后执行Layer Normalization操作来稳定训练过程。 5. **解码器生成策略** 解码阶段采用自回归方式逐词预测目标序列，在每步仅暴露已知的部分给当前时间步处理。最终输出形状应匹配 `(batch_size, max_tgt_len, d_model)` 的形式。 #### 超参数调整建议 针对性能优化，合理设置以下几类超参数尤为重要： - **学习率调度** 使用预热(warm-up)策略配合逆平方根衰减(inverse square root decay)可以有效提升收敛速度和稳定性。 - **层数与隐藏单元数** 增加Encoder/Decoder堆叠层数或扩展内部维度可能提高表达能力，但也伴随更大计算开销；需要依据硬件资源权衡选取适当规模。 - **Dropout比率** 设置合适的dropout比例有助于缓解过拟合现象，通常推荐范围介于0.1至0.3之间。 - **批量大小(Batch Size)** 较大批次能更好地估计梯度方向从而加快更新频率，不过内存占用亦随之增长，实际取值视设备而定。 ```python import torch.nn as nn class PositionalEncoding(nn.Module): def __init__(self, d_model, dropout=0.1, max_len=5000): super(PositionalEncoding, self).__init__() pe = ... # 构造PE表 ... def scaled_dot_product_attention(q, k, v, mask=None): attn_scores = ... if mask is not None: ... return output, attention_weights class MultiHeadAttention(nn.Module): def __init__(self, embed_dim, num_heads, dropout=0.0): super(MultiHeadAttention, self).__init__() assert embed_dim % num_heads == 0 ... class TransformerBlock(nn.Module): def __init__(self, embed_dim, num_heads, ff_dim, rate=0.1): super(TransformerBlock, self).__init__() self.att = MultiHeadAttention(embed_dim, num_heads) self.ffn = nn.Sequential( nn.Linear(embed_dim, ff_dim), nn.ReLU(), nn.Linear(ff_dim, embed_dim)) self.layernorm1 = nn.LayerNorm(embed_dim, eps=1e-6) self.dropout1 = nn.Dropout(rate) class Encoder(nn.Module): def __init__(self, vocab_size, embed_dim, num_layers, heads, ff_dim, dropout_rate): super(Encoder, self).__init__() ... class Decoder(nn.Module): def __init__(self, vocab_size, embed_dim, num_layers, heads, ff_dim, dropout_rate): super(Decoder, self).__init__() ... ```
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值