几个小创新模型，KAN组合网络（LSTM、GRU、Transformer）时间序列预测，python预测全家桶...

截止到本期，一共发了8篇关于机器学习预测全家桶Python代码的文章。参考往期文章如下：

今天再更新一期关于与KAN网络结合的时间序列预测代码。

一、KAN网络模型概述

KAN网络属于近期非常热门的一个模型，与传统的MLP架构截然不同，KAN网络能用更少的参数在数学、物理问题上取得更高精度。KAN其灵感来源于 Kolmogorov-Arnold 定理，这个定理的含义就是任意一个多变量连续函数都可以表现为一些单变量函数的组合。

KAN的核心特点是在网络的边缘（即权重）上拥有可学习的激活函数，而不是像传统的MLPs那样在节点（即神经元）上使用固定的激活函数。并且KAN的准确性和可解释性要比MLP好很多。

KAN的优点：

1. KAN可以避免大模型的灾难性遗忘问题
2. 在函数拟合、偏微分方程求解方面，KAN比MLP更准确
3. KAN可以直观地可视化。KAN 提供MLP无法提供的可解释性和交互性

KAN的缺点：

1.训练速度慢：因为训练一个激活函数，需要无限多的循环进行验证
2. 对于更深层结构可解释性是否还存在，论文中给出的实验只是浅层的
3.KAN网络在求解非线性函数等工程问题时更精确，但在时间序列预测方面，训练起来就非常慢。但是将其作为网络的一个小的改进点，还是可以的。

二、KAN网络组合模型

本期带来几个KAN网络的组合模型：LSTM-KAN、GRU-KAN、Transformer-KAN、BiLSTM-KAN。

老规矩，依旧以《风电场功率预测.xlsx》为例进行介绍。数据格式如下：

设置网络为多特征输入，多步预测。采用前10个历史时刻的特征值预测未来2天的功率值。（当然你也可以改为其他任何你想改的，比如单特征、单步预测等，不会改的参考这篇文章：一次性搞定多/单特征输入，多/单步预测！最强模板！）

三、结果展示：

设置了不同的实验进行展示。

实验一：设置网络为多特征输入，单步预测。采用前5个历史时刻的特征值预测未来1个时刻的功率值。设置训练集测试集比例为7：3，并采用BiLSTM-KAN组合模型预测。

BiLSTM-KAN预测结果：

实验二：设置网络为多特征输入，多步预测。采用前5个历史时刻的特征值预测未来2个时刻的功率值。设置训练集测试集比例为9：1，并采用GRU-KAN组合模型预测。

GRU-KAN预测结果：

第一步预测结果：

第二步预测结果：

指标打印结果：

实验三：设置网络为单特征输入，单步预测。采用前5个历史时刻的特征值预测未来1个时刻的功率值。设置训练集测试集比例为7：3，并采用LSTM-KAN组合模型预测。

LSTM-KAN预测结果：

实验四：设置网络为多特征输入，多步预测。采用前10个历史时刻的特征值预测未来2个时刻的功率值。设置训练集测试集比例为7：3，并采用

Transformer -KAN 组合模型预测。

Transformer-KAN预测结果：

第一步预测结果：

第二步预测结果：

已将本文代码更新至python预测全家桶。

后续会继续更新一些其他模型……敬请期待！

机器学习python全家桶代码获取

点击下方卡片获取代码。

全家桶pip包推荐版如下：

tensorflow~=2.15.0
pandas~=2.2.0
openpyxl~=3.1.2
matplotlib~=3.8.2
numpy~=1.26.3
keras~=2.15.0
mplcyberpunk~=0.7.1
scikit-learn~=1.4.0
scipy~=1.12.0
qbstyles~=0.1.4
prettytable~=3.9.0
vmdpy~=0.2
xgboost~=2.0.3
mealpy~=3.0.1
torch~=2.3.1

几个小创新模型，KAN组合网络（LSTM、GRU、Transformer）时间序列预测，python预测全家桶...

相关推荐