关于Transformer模型，其实在2023B版本的MATLAB即可实现了。今天在MATLAB预测全家桶继续更新Transformer模型，实现单/多特征输入/单/多步预测。
截止到本期MATLAB机器学习预测全家桶，一共发了22篇关于机器学习预测代码的文章。算上这一篇，一共23篇！参考文章如下：
2.机器学习预测全家桶，多步预测之BiGRU、BiLSTM、GRU、LSTM，LSSVM、TCN、CNN，光伏发电数据为例
3.机器学习预测全家桶，多步预测之组合预测模型，光伏发电数据为例
4.机器学习预测全家桶之Xgboost，交通流量数据预测为例
5.机器学习预测全家桶之CNN-RVM(相关向量机)，风电功率预测
6.水N篇论文就靠它了！Adaboost风电功率预测，机器学习预测全家桶
7.机器学习预测全家桶之单变量输入单步预测，天气温度预测为例
8.2023年冠豪猪算法优化CNN-GRU-Attention多特征输入多步预测
9.机器学习预测全家桶之单变量输入多步预测，天气温度预测为例
10.机器学习预测全家桶新增VMD-TCN-GRU/BiGRU-Attention模型
11.金豺算法优化TCN-BiGRU-Attention多特征输入单步预测
13.12种算法优化CNN-BiLSTM-Attention多特征输入单步预测
14.新思路：TCN-RVM模型，你见过吗？机器学习预测全家桶新增模型
15.再添数十种回归模型！最全机器学习预测全家桶，MATLAB代码，这次千万别再错过了！
16.12种算法优化CNN-BiGRU-Attention单变量输入单步预测，持续更新
17.BiTCN、BiTCN-SVM、BiTCN-LSTM、BiTCN-BiGRU机器学习预测全家桶
18.机器学习预测全家桶再更新！CEEMDAN-VMD双分解CNN-BiLSTM预测，MATLAB代码
19.四种算法优化ELM，实现多变量输入超前24步预测功能，机器学习预测全家桶再更新！
20.7种2024年算法优化BP，实现回归，单/多变量输入，单/多步预测功能
21.电力负荷超前96步预测，采用2024最新鹭鹰算法优化ELM实现，MATLAB代码
22.一篇搞定分位数回归区间预测，机器学习预测全家桶MATLAB代码再更新！
一、Transformer 模型概述
Transformer 作为一种创新的神经网络结构，深受欢迎。采用 Transformer 编码器对光伏、负荷数据特征间的复杂关系以及时间序列中的长短期依赖关系进行挖掘，可以提高光伏功率、负荷预测的准确性。Transformer 编码器一般由多个编码器层堆叠而成，具体架构如图所示。每个编 码器层包括注意力子层和前馈神经网络子层，其中注意力子层包括多头自注意力机制和残差连接与层归一化，前馈神经网络子层包括前馈神经网络和残差连接与层归一化。关于Transformer模型介绍网上有很多博主都讲解的不错，本期主要为代码实现。
Transformer架构
二、实验部分
本期新增模型：Transformer 模型，设置了3种实验，分别为：
多特征输入单步预测、单特征输入单步预测、多特征输入超前步预测。
实验一：多特征输入单步预测
以《风电场功率预测.xlsx》为例进行介绍。数据格式如下：
设置网络为多特征输入（所有的特征值，包括测风塔风速、温度、气压等数据），多步预测（把功率作为预测值）。采用前5个历史时刻的特征值预测未来1个时刻的功率值。一共设置了1000个样本，其中800个用于训练，200个用于测试。结果如下：
实验二：单特征输入单步预测
以《风电场功率预测.xlsx》为例进行介绍。
设置网络为单特征输入（只输入功率一列的数据），单步预测。采用前8个历史时刻的特征值预测未来1个时刻的功率值。一共设置了1000个样本，其中800个用于训练，200个用于测试。结果如下：
实验三：多特征输入超前步预测
以《光伏功率预测.xlsx》为例进行介绍。数据格式如下：
设置网络为多特征输入，超前多步预测。采用前3天（96*3个时刻）历史特征值预测未来1天（96个时刻）的功率值。一共设置了30个样本，其中29个用于训练，1个用于测试。测试结果如下，对未来96个样本点进行了预测。
Transformer模型架构如下：
本文程序必须在2023B及其以上MATLAB使用！
后续会继续更新一些Transformer的组合模型……敬请期待！
已将本文算法加入机器学习预测全家桶中。
机器学习MATLAB全家桶代码获取
点击下方卡片关注，获取更多代码
1772
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
