基于麻雀优化算法SSA的CEEMDAN-Transformer-BiGRU预测模型

往期精彩内容：

时序预测：LSTM、ARIMA、Holt-Winters、SARIMA模型的分析与比较

全是干货 | 数据集、学习资料、建模资源分享！

EMD、EEMD、FEEMD、CEEMD、CEEMDAN的区别、原理和Python实现（一）EMD-优快云博客

EMD、EEMD、FEEMD、CEEMD、CEEMDAN的区别、原理和Python实现（二）EEMD

EMD、EEMD、FEEMD、CEEMD、CEEMDAN的区别、原理和Python实现（三）FEEMD-优快云博客

EMD、EEMD、FEEMD、CEEMD、CEEMDAN的区别、原理和Python实现（四）CEEMD-优快云博客

EMD变体分解效果最好算法——CEEMDAN（五）-优快云博客

拒绝信息泄露！VMD滚动分解 + Informer-BiLSTM并行预测模型-优快云博客

风速预测（一）数据集介绍和预处理_风速数据在哪里下载-优快云博客

风速预测（二）基于Pytorch的EMD-LSTM模型-优快云博客

风速预测（三）EMD-LSTM-Attention模型-优快云博客

风速预测（四）基于Pytorch的EMD-Transformer模型-优快云博客

风速预测（五）基于Pytorch的EMD-CNN-LSTM模型-优快云博客

风速预测（六）基于Pytorch的EMD-CNN-GRU并行模型-优快云博客

单步预测-风速预测模型代码全家桶-优快云博客

CEEMDAN +组合预测模型(BiLSTM-Attention + ARIMA)-优快云博客

CEEMDAN +组合预测模型(Transformer - BiLSTM + ARIMA)-优快云博客

CEEMDAN +组合预测模型(CNN-LSTM + ARIMA)-优快云博客

CEEMDAN +组合预测模型(CNN-Transformer + ARIMA)-优快云博客

多特征变量序列预测(一)——CNN-LSTM风速预测模型-优快云博客

多特征变量序列预测(二)——CNN-LSTM-Attention风速预测模型-优快云博客

多特征变量序列预测(三)——CNN-Transformer风速预测模型-优快云博客

多特征变量序列预测(四) Transformer-BiLSTM风速预测模型-优快云博客

多特征变量序列预测(五) CEEMDAN+CNN-LSTM风速预测模型-优快云博客

多特征变量序列预测(六) CEEMDAN+CNN-Transformer风速预测模型-优快云博客

基于麻雀优化算法SSA的CEEMDAN-BiLSTM-Attention的预测模型-优快云博客

前言

本文基于前期介绍的风速数据（文末附数据集），介绍一种综合应用完备集合经验模态分解CEEMDAN与基于麻雀优化算法的SSA-Transformer-BiGRU预测模型，以提高时间序列数据的预测性能。该方法的核心是使用CEEMDAN算法对时间序列进行分解，接着利用麻雀优化算法对Transformer-BiGRU模型进行优化，通过对分解后的数据进行建模，来实现精准预测。

风速数据集的详细介绍可以参考下文：

风速预测（一）数据集介绍和预处理_垂直风速气象数据源-优快云博客

1 风速数据CEEMDAN分解与可视化

1.1 导入数据

1.2 CEEMDAN分解

根据分解结果看，CEEMDAN一共分解出11个分量，来作为SSA-Transformer-BiGRU模型的输入进行预测

2 数据集制作与预处理

划分数据集，按照8：2划分训练集和测试集

3 麻雀优化算法

3.1 麻雀优化算法介绍

麻雀优化算法（Sparrow Optimization Algorithm，简称SSA）是一种基于自然界麻雀行为特点的优化算法，它模拟了麻雀在觅食、迁徙和社交等行为中的优化策略。该算法在解决多种优化问题方面展现出了良好的性能。麻雀优化算法的基本思想是通过模拟麻雀的觅食行为，不断优化搜索空间中的解。算法的过程可以分为觅食行为、迁徙行为和社交行为三个阶段。

• 觅食行为（Foraging Behavior）：麻雀在觅食时会选择距离较近且具有较高适应度的食物源。在算法中，解空间中的每个个体被看作是一个食物源，具有适应度评价值。麻雀通过选择适应度较高的个体来寻找更优的解。

• 迁徙行为（Migration Behavior）：当麻雀在一个食物源周围搜索一段时间后，如果没有找到更优的解，它们会选择离开当前食物源，前往其他食物源继续寻找。在算法中，个体之间的位置信息会发生变化，以模拟麻雀的迁徙行为。

• 社交行为（Social Behavior）：麻雀在觅食时会通过与其他麻雀的交流来获取更多的信息，从而提高自己的觅食效率。在算法中，个体之间通过交换信息来改善自身的解，并且更新解空间中的最优解。

3.2 基于Python的麻雀优化算法实现

3.3 麻雀优化算法-超参数寻优过程

麻雀优化算法具有简单易实现、全局寻优能力和自适应性等特点，适用于解决组合优化问题。我们通过麻雀优化算法来进行BiLSTM-Attention模型的超参数寻优。

通过设置合适的种群规模和优化迭代次数，我们在给定的超参数范围内，搜索出最优的参数。

4 基于CEEMADN的 SSA-Transformer-BiGRU 预测模型

4.1 定义SSA-Transformer-BiGRU预测模型

注意：

• 输入维度为11, 代表CEEMDAN分解的11个分量

• 输入形状为 torch.Size([64, 24, 11])

•  batch_size=64,  24代表序列长度（滑动窗口取值）

在使用Transformer模型中的多头注意力时，输入维度必须能够被num_heads（注意力头的数量）整除。因为在多头注意力机制中，输入的嵌入向量会被分成多个头，每个头的维度是embed_dim / num_heads，因此embed_dim必须能够被num_heads整除，以确保能够均匀地分配给每个注意力头。

因为此时CEEMDAN分解分量为11个，本文采用对数据进行对半切分堆叠，使输入形状为[64, 12, 22]。

4.2 设置参数，训练模型

50个epoch，MSE 为0.008368，SSA-Transformer-BiGRU预测效果良好，适当调整模型参数，还可以进一步提高模型预测表现。

注意调整参数：

• 可以修改麻雀优化算法的种群规模和优化迭代次数；

• 调整Transformer、BiLGRU层数和维度数的参数搜索范围，增加更多的 epoch （注意防止过拟合）

• 可以改变滑动窗口长度（设置合适的窗口长度）

保存训练结果和预测数据

4.3 模型评估

分量预测，结果可视化

由分量预测结果可见，11个分量在SSA-Transformer-BiGRU预测模型下拟合效果好，预测精度高。

模型整体评估：

5 代码、数据整理如下：