SABO-CNN-BiGRU-Attention减法优化器优化卷积神经网络结合双向门控循环单元时间序列预测，含优化前后对比

最新推荐文章于 2025-12-03 08:43:36 发布

原创最新推荐文章于 2025-12-03 08:43:36 发布 · 297 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#cnn #gru #人工智能

✅作者简介：热爱科研的Matlab仿真开发者，擅长数据处理、建模仿真、程序设计、完整代码获取、论文复现及科研仿真。

🍎 往期回顾关注个人主页：Matlab科研工作室

🍊个人信条：格物致知,完整Matlab代码及仿真咨询内容私信。

🔥 内容介绍

摘要: 本文提出一种基于SABO-CNN-BiGRU-Attention模型并采用减法优化器进行优化的时间序列预测方法。该方法首先利用卷积神经网络(CNN)提取时间序列的局部特征，随后通过双向门控循环单元(BiGRU)捕获序列的长期依赖关系，并引入注意力机制(Attention)增强模型对关键时间步的关注。此外，我们引入了一种新的减法优化器，旨在改善模型训练过程中的收敛速度和全局寻优能力。为了验证所提出方法的有效性，我们进行了仿真实验，并将优化前后的模型性能进行对比分析。实验结果表明，SABO-CNN-BiGRU-Attention模型在时间序列预测任务中表现出良好的性能，而减法优化器的引入显著提升了模型的预测精度和收敛速度。

关键词: 时间序列预测; 卷积神经网络; 双向门控循环单元; 注意力机制; 减法优化器;

1. 引言

时间序列预测在众多领域都扮演着至关重要的角色，例如金融市场分析、气象预报、交通流量预测以及电力负荷预测等。准确的时间序列预测能够为决策者提供有效的信息，从而更好地进行资源规划和风险管理。随着人工智能技术的快速发展，深度学习模型，尤其是循环神经网络(RNN)及其变体，如长短期记忆网络(LSTM)和门控循环单元(GRU)，在时间序列预测任务中取得了显著的成果。然而，传统的RNN模型在处理长序列时容易出现梯度消失或梯度爆炸的问题，限制了模型对长期依赖关系的捕捉能力。

近年来，卷积神经网络(CNN)在时间序列分析中也引起了广泛关注。CNN能够有效提取时间序列的局部特征，并具有并行计算的优势。将CNN与RNN相结合，可以有效结合两者的优势，提升模型对时间序列的建模能力。此外，注意力机制(Attention Mechanism)的引入，能够使模型更加关注关键时间步的信息，进一步提高预测精度。

尽管深度学习模型在时间序列预测中取得了显著进展，但模型训练过程中优化器的选择仍然至关重要。传统的梯度下降优化算法，如Adam、SGD等，在复杂的优化空间中容易陷入局部最优解，导致模型性能受到限制。因此，如何选择合适的优化器，提高模型的收敛速度和全局寻优能力，仍然是一个重要的研究方向。

针对以上问题，本文提出了一种基于SABO-CNN-BiGRU-Attention模型并采用减法优化器进行优化的时间序列预测方法。该方法结合了CNN提取局部特征的能力、BiGRU捕获长期依赖关系的能力以及Attention机制对关键时间步的关注，并引入了一种新的减法优化器，旨在改善模型训练过程中的收敛速度和全局寻优能力。

2. 相关工作

2.1 时间序列预测模型

传统的时间序列预测方法主要包括自回归模型(AR)、移动平均模型(MA)、自回归移动平均模型(ARMA)以及自回归积分移动平均模型(ARIMA)。这些方法基于统计学原理，通过分析历史数据的自相关性和偏自相关性来建立预测模型。然而，传统方法在处理非线性、非平稳的时间序列时表现不佳。

深度学习模型，尤其是RNN及其变体，在时间序列预测中展现出强大的建模能力。LSTM和GRU通过引入门控机制，有效地缓解了传统RNN的梯度消失和梯度爆炸问题。Chen等人(2017)提出了一种基于LSTM的时间序列预测模型，并将其应用于股票价格预测。实验结果表明，该模型在预测精度方面优于传统的ARIMA模型。

CNN在时间序列分析中也越来越受到重视。Lei等人(2018)提出了一种基于TCN(Temporal Convolutional Network)的时间序列预测模型，该模型采用因果卷积和膨胀卷积，有效地捕获了时间序列的长期依赖关系。

2.2 注意力机制

注意力机制最初应用于机器翻译领域，并取得了显著的成果。Bahdanau等人(2014)提出了一种基于注意力机制的神经机器翻译模型，该模型能够根据输入序列的不同部分，动态地调整对输出序列的关注度。近年来，注意力机制被广泛应用于各种深度学习模型，包括时间序列预测模型。

Zhou等人(2016)提出了一种基于注意力机制的LSTM模型，用于预测患者的医疗费用。该模型能够根据患者的不同特征，动态地调整对历史数据的关注度。实验结果表明，该模型在预测精度方面优于传统的LSTM模型。

2.3 优化器

优化器在深度学习模型的训练过程中扮演着至关重要的角色。传统的梯度下降优化算法，如SGD、Momentum、Adam等，通过迭代更新模型的参数，最小化损失函数。然而，这些算法在复杂的优化空间中容易陷入局部最优解，导致模型性能受到限制。

近年来，研究人员提出了许多新的优化算法，旨在改善模型的收敛速度和全局寻优能力。例如，Adagrad、RMSProp等算法能够自适应地调整学习率，从而更好地适应不同参数的更新速度。Adam结合了Momentum和RMSProp的优点，在实践中取得了广泛的应用。

3. 模型构建

3.1 SABO-CNN-BiGRU-Attention 模型结构

本文提出的SABO-CNN-BiGRU-Attention模型结构如图1所示。该模型主要由以下几个部分组成：

输入层: 将原始时间序列数据作为模型的输入。
卷积层(CNN): 利用多个卷积核对输入序列进行卷积操作，提取时间序列的局部特征。
双向门控循环单元(BiGRU): 将CNN提取的特征输入到BiGRU网络中，捕获序列的长期依赖关系。BiGRU由两个方向相反的GRU单元组成，分别从前向和后向处理输入序列，从而更好地理解上下文信息。
注意力机制(Attention): 将BiGRU的输出作为Attention机制的输入，计算每个时间步的注意力权重。注意力权重反映了模型对不同时间步的关注度，并将其用于加权平均BiGRU的输出，得到最终的序列表示。
输出层: 利用全连接层将序列表示映射到预测值。

图1: SABO-CNN-BiGRU-Attention模型结构 (由于无法直接在文本中插入图片，此处仅为示意，实际图片应展示各个层的连接方式和数据流动方向)

3.2 减法优化器

传统的梯度下降优化算法通过沿着损失函数的负梯度方向更新模型参数来最小化损失函数。然而，在复杂的优化空间中，损失函数往往存在多个局部最小值，梯度下降算法容易陷入局部最优解。

为了解决这个问题，本文引入了一种新的减法优化器。该优化器的核心思想是在每一次迭代中，不仅考虑损失函数的梯度信息，还考虑当前参数值与历史最优参数值之间的差异。具体而言，减法优化器的更新规则如下：

scss

θ_(t+1) = θ_t - η * (∇L(θ_t) + λ * (θ_t - θ_best))

其中，θ_t表示当前迭代的参数值，η表示学习率，∇L(θ_t)表示损失函数L在θ_t处的梯度，θ_best表示历史最优参数值，λ表示减法系数。

该公式的核心在于减去一个与(θ_t - θ_best)成比例的项。当当前参数值远离历史最优参数值时，该项的绝对值较大，从而促使参数向历史最优参数值靠拢。当当前参数值接近历史最优参数值时，该项的绝对值较小，从而避免参数在历史最优参数值附近震荡。

减法优化器的优势在于：