KAN+LSTM新出的创新结合就等顶会了?2025最好发的论文创新点

部署运行你感兴趣的模型镜像

KAN+LSTM是一种结合了KAN(Kolmogorov-Arnold Network)和LSTM(Long Short-Term Memory)的混合深度学习模型,主要用于处理序列数据,如时间序列预测和自然语言处理等任务

我还整理出了相关的论文+开源代码,以下是精选部分论文

 更多论文料可以关注AI科技探寻,发送:111  领取更多[论文+开源码】 

论文1

标题:

Model Comparisons: XNet Outperforms KAN

模型比较:XNet优于KAN

法:

  • 函数逼近:通过低维和高维函数的逼近实验,评估XNet在不同维度和复杂度下的性能。

  • 物理信息神经网络(PINN):在PINN框架下,使用XNet解决偏微分方程(PDE),并与KAN和传统PINN进行比较。

  • 时间序列预测:通过替换LSTM中的前馈神经网络(FNN)为XNet,提出XLSTM模型,并在合成和真实世界时间序列数据上进行实验。

创新点:

  • 函数逼近能力提升:XNet在逼近不连续函数(如Heaviside阶跃函数)时,均方误差(MSE)比KAN低1000倍。

  • 高维函数逼近性能:在四维和100维函数逼近任务中,XNet的MSE分别比KAN低1000倍和10倍,同时计算时间更短。

  • 物理信息神经网络中的应用:在求解泊松方程时,XNet的精度比KAN和传统PINN分别高50倍和10000倍,且计算时间比KAN快2倍。

  • 时间序列预测性能提升:在合成时间序列预测任务中,XLSTM的MSE比LSTM低约500倍;在苹果股票价格预测任务中,XLSTM的MSE比LSTM低约30%。

image.png

论文2

标题:

TKAN: Temporal Kolmogorov-Arnold Networks

TKAN:时序柯尔莫哥洛夫-阿诺德网络

法:

  • Kolmogorov-Arnold网络(KAN:基于Kolmogorov-Arnold表示定理,将多变量连续函数分解为单变量函数的组合。

  • 循环Kolmogorov-Arnold网络(RKAN):引入循环机制,使网络能够处理时间序列数据,保留短期记忆。

  • 长短期记忆(LSTM)集成:将LSTM单元与RKAN层结合,形成TKAN架构,用于捕捉长期依赖关系。

  • 时间依赖性建模:通过修改KAN的激活函数,使其具有时间依赖性,以更好地处理序列数据。

  • 多步预测:设计实验验证TKAN在单步和多步时间序列预测任务中的性能。

创新点:

  • 多步预测性能提升:在多步预测任务中,TKAN的平均R²值比GRU和LSTM分别高出25%和50%以上。

  • 模型稳定性增强:TKAN在不同实验中的标准差明显低于GRU和LSTM,表明其具有更好的模型稳定性。

  • 长期依赖捕捉能力:TKAN在长周期预测中表现出色,能够有效处理时间序列中的长期依赖关系,而LSTM在6步以上预测时性能显著下降。

  • 数据适应性增强:TKAN通过改进的预处理方法(如移动中位数归一化)提高了对非平稳时间序列数据的适应性。

image.png

论文3

标题:

Deep State Space Recurrent Neural Networks for Time Series Forecasting

深度状态空间循环神经网络用于时间序列预测
方法
  • 状态空间模型与循环神经网络结合:提出了一种结合经典计量经济学状态空间模型和循环神经网络(RNN)的新型神经网络框架,用于建模加密货币市场的动态特性。

  • 长短期记忆网络(LSTM):利用LSTM的门控机制来捕捉时间序列中的长期依赖关系,有效处理加密货币市场的高波动性和复杂动态。

创新点:

  • 状态空间模型的扩展:通过引入时间变化的转移概率和外部协变量,增强了状态空间模型对市场动态变化的捕捉能力,相比传统静态模型,能够更好地适应加密货币市场的高波动性和复杂性。

  • LSTM与GRU的结合:将LSTM和GRU的优势结合,提升了模型在处理长期依赖关系时的效率和准确性。实验结果表明,结合后的模型在预测精度上比单独使用LSTM或GRU提高了约20%。

  • 动态状态转换机制:通过动态调整状态转换概率,模型能够根据市场环境的变化实时调整预测策略,显著提高了模型的鲁棒性和适应性。在加密货币市场的测试中,动态模型的平均预测误差比静态模型降低了约30%。

  • 多步预测能力:提出的模型在多步预测任务中表现出色,能够有效捕捉市场在不同时间尺度上的动态变化。与传统单步预测模型相比,多步预测的平均误差降低了约40%

image.png

论文4

标题:

MLP, XGBoost, KAN, TDNN, and LSTM-GRU Hybrid RNN with Attention for SPX and NDX European Call Option Pricing

用于SPX和NDX欧洲看涨期权定价的MLP、XGBoost、KAN、TDNN和带注意力机制的LSTM-GRU混合RNN

法:

  • 多层感知机(MLP):利用MLP的前馈神经网络结构,通过非线性激活函数捕捉期权定价中的复杂关系。

  • XGBoost:采用基于梯度提升的决策树模型,通过集成学习提升模型的预测能力和泛化性能。

  • Kolmogorov-Arnold网络(KAN):基于Kolmogorov-Arnold表示定理,利用正交多项式构建网络层,增强模型对非线性函数的逼近能力。

创新点:

  • 混合RNN架构:提出的LSTM-GRU混合RNN模型在所有误差指标上均优于其他模型,包括MLP、XGBoost、TDNN和KAN。通过引入注意力机制,模型的预测精度进一步提升,平均误差降低了约50%。

  • KAN的优化:利用正交多项式构建的KAN层,相比传统的B样条激活函数,能够更有效地捕捉期权定价中的非线性关系。实验结果表明,KAN模型在预测精度上比传统MLP提高了约30%。

  • 时间动态建模:TDNN通过时间卷积层捕捉期权价格的时间动态特性,虽然在某些指标上不如混合RNN,但相比传统方法仍表现出显著的性能提升,平均误差降低了约20%。

  • 模型集成潜力:由于不同模型在不同市场条件下的误差具有互补性,研究提出了模型集成的可能性,通过结合多个模型的优势,有望进一步提升预测精度和鲁棒性。

image.png

 

 更多论文料可以关注AI科技探寻,发送:111  领取更多[论文+开源码】 

您可能感兴趣的与本文相关的镜像

TensorFlow-v2.9

TensorFlow-v2.9

TensorFlow

TensorFlow 是由Google Brain 团队开发的开源机器学习框架,广泛应用于深度学习研究和生产环境。 它提供了一个灵活的平台,用于构建和训练各种机器学习模型

### KANLSTM结合的状态估计方法及Matlab实现 在电力系统状态估计中,KAN(Kalman Filter)与LSTM(Long Short-Term Memory)的结合可以有效处理动态系统的非线性特性,并利用LSTM对时间序列数据的记忆能力提高预测精度。以下是关于如何使用Matlab实现KANLSTM结合的状态估计方法的详细说明。 #### 1. KANLSTM结合的基本原理 KAN是一种经典的递归滤波算法,用于估计动态系统的状态。它假设系统的噪声为高斯白噪声,并通过递归更状态和协方差矩阵来逼近真实状态[^2]。然而,在实际应用中,由于系统可能包含非线性特性或复杂的噪声分布,传统的KAN可能无法提供足够准确的结果。LSTM作为一种特殊的循环神经网络RNN),能够捕捉时间序列中的长期依赖关系,因此可以用来改进KAN的状态估计性能[^1]。 #### 2. 算法框架 将KANLSTM结合的状态估计方法可以分为以下部分: - **LSTM预处理模块**:利用LSTM对输入的时间序列数据进行建模,提取隐藏特征并生成预测值。 - **KAN校正模块**:将LSTM的预测结果作为输入,结合测量数据通过KAN进行校正,得到最终的状态估计值。 #### 3. Matlab实现代码示例 以下是一个简化的Matlab代码示例,展示了如何实现KANLSTM结合的状态估计方法: ```matlab % LSTM-KAN状态估计示例 % 数据准备 load('time_series_data.mat'); % 加载时间序列数据 X = data(:, 1:end-1); % 输入特征 Y = data(:, end); % 目标值 % LSTM模型训练 net = trainNetwork(X, Y, layers, options); % 训练LSTM模型 % LSTM预测 YPred_LSTM = predict(net, X); % KAN初始化 n = size(YPred_LSTM, 2); % 状态维数 P = eye(n); % 初始协方差矩阵 Q = 0.1 * eye(n); % 过程噪声协方差 R = 0.1 * eye(n); % 测量噪声协方差 H = eye(n); % 测量矩阵 % KAN校正 for t = 1:length(YPred_LSTM) % 预测步骤 x_pred = YPred_LSTM(t); % LSTM预测值作为先验估计 P_pred = P + Q; % 先验协方差 % 更步骤 K = P_pred * H' / (H * P_pred * H' + R); % Kalman增益 y_meas = Y(t); % 测量值 x_est = x_pred + K * (y_meas - H * x_pred); % 后验估计 P = (eye(n) - K * H) * P_pred; % 后验协方差 % 保存结果 YPred_KAN(t) = x_est; end % 结果可视化 figure; plot(Y, 'b', 'LineWidth', 1.5); hold on; plot(YPred_LSTM, 'r--', 'LineWidth', 1.5); plot(YPred_KAN, 'g-.', 'LineWidth', 1.5); legend('真实值', 'LSTM预测值', 'KAN校正值'); xlabel('时间步'); ylabel('状态值'); title('KANLSTM结合的状态估计结果'); ``` #### 4. 关键参数说明 - `layers` 和 `options` 是LSTM网络的结构定义和训练选项,需要根据具体任务调整。 - `Q` 和 `R` 分别表示过程噪声协方差和测量噪声协方差,通常需要通过实验确定。 - `H` 是测量矩阵,用于将状态空间映射到测量空间。 #### 5. 应用场景 该方法适用于需要同时考虑时间序列特性和测量噪声的场景,例如: - 电力系统负荷预测[^2] - 化学反应器状态估计[^1] - 交通流量预测[^3]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值