KAN+LSTM是一种结合了KAN(Kolmogorov-Arnold Network)和LSTM(Long Short-Term Memory)的混合深度学习模型,主要用于处理序列数据,如时间序列预测和自然语言处理等任务
我还整理出了相关的论文+开源代码,以下是精选部分论文
更多论文料可以关注
:AI科技探寻,发送:111 领取更多[论文+开源码】
论文1
标题:
Model Comparisons: XNet Outperforms KAN
模型比较:XNet优于KAN
方法:
-
函数逼近:通过低维和高维函数的逼近实验,评估XNet在不同维度和复杂度下的性能。
-
物理信息神经网络(PINN):在PINN框架下,使用XNet解决偏微分方程(PDE),并与KAN和传统PINN进行比较。
-
时间序列预测:通过替换LSTM中的前馈神经网络(FNN)为XNet,提出XLSTM模型,并在合成和真实世界时间序列数据上进行实验。
创新点:
-
函数逼近能力提升:XNet在逼近不连续函数(如Heaviside阶跃函数)时,均方误差(MSE)比KAN低1000倍。
-
高维函数逼近性能:在四维和100维函数逼近任务中,XNet的MSE分别比KAN低1000倍和10倍,同时计算时间更短。
-
物理信息神经网络中的应用:在求解泊松方程时,XNet的精度比KAN和传统PINN分别高50倍和10000倍,且计算时间比KAN快2倍。
-
时间序列预测性能提升:在合成时间序列预测任务中,XLSTM的MSE比LSTM低约500倍;在苹果股票价格预测任务中,XLSTM的MSE比LSTM低约30%。

论文2
标题:
TKAN: Temporal Kolmogorov-Arnold Networks
TKAN:时序柯尔莫哥洛夫-阿诺德网络
方法:
-
Kolmogorov-Arnold网络(KAN):基于Kolmogorov-Arnold表示定理,将多变量连续函数分解为单变量函数的组合。
-
循环Kolmogorov-Arnold网络(RKAN):引入循环机制,使网络能够处理时间序列数据,保留短期记忆。
-
长短期记忆(LSTM)集成:将LSTM单元与RKAN层结合,形成TKAN架构,用于捕捉长期依赖关系。
-
时间依赖性建模:通过修改KAN的激活函数,使其具有时间依赖性,以更好地处理序列数据。
-
多步预测:设计实验验证TKAN在单步和多步时间序列预测任务中的性能。
创新点:
-
多步预测性能提升:在多步预测任务中,TKAN的平均R²值比GRU和LSTM分别高出25%和50%以上。
-
模型稳定性增强:TKAN在不同实验中的标准差明显低于GRU和LSTM,表明其具有更好的模型稳定性。
-
长期依赖捕捉能力:TKAN在长周期预测中表现出色,能够有效处理时间序列中的长期依赖关系,而LSTM在6步以上预测时性能显著下降。
-
数据适应性增强:TKAN通过改进的预处理方法(如移动中位数归一化)提高了对非平稳时间序列数据的适应性。

论文3
标题:
Deep State Space Recurrent Neural Networks for Time Series Forecasting
深度状态空间循环神经网络用于时间序列预测
方法
-
状态空间模型与循环神经网络结合:提出了一种结合经典计量经济学状态空间模型和循环神经网络(RNN)的新型神经网络框架,用于建模加密货币市场的动态特性。
-
长短期记忆网络(LSTM):利用LSTM的门控机制来捕捉时间序列中的长期依赖关系,有效处理加密货币市场的高波动性和复杂动态。
创新点:
-
状态空间模型的扩展:通过引入时间变化的转移概率和外部协变量,增强了状态空间模型对市场动态变化的捕捉能力,相比传统静态模型,能够更好地适应加密货币市场的高波动性和复杂性。
-
LSTM与GRU的结合:将LSTM和GRU的优势结合,提升了模型在处理长期依赖关系时的效率和准确性。实验结果表明,结合后的模型在预测精度上比单独使用LSTM或GRU提高了约20%。
-
动态状态转换机制:通过动态调整状态转换概率,模型能够根据市场环境的变化实时调整预测策略,显著提高了模型的鲁棒性和适应性。在加密货币市场的测试中,动态模型的平均预测误差比静态模型降低了约30%。
-
多步预测能力:提出的模型在多步预测任务中表现出色,能够有效捕捉市场在不同时间尺度上的动态变化。与传统单步预测模型相比,多步预测的平均误差降低了约40%

论文4
标题:
MLP, XGBoost, KAN, TDNN, and LSTM-GRU Hybrid RNN with Attention for SPX and NDX European Call Option Pricing
用于SPX和NDX欧洲看涨期权定价的MLP、XGBoost、KAN、TDNN和带注意力机制的LSTM-GRU混合RNN
方法:
-
多层感知机(MLP):利用MLP的前馈神经网络结构,通过非线性激活函数捕捉期权定价中的复杂关系。
-
XGBoost:采用基于梯度提升的决策树模型,通过集成学习提升模型的预测能力和泛化性能。
-
Kolmogorov-Arnold网络(KAN):基于Kolmogorov-Arnold表示定理,利用正交多项式构建网络层,增强模型对非线性函数的逼近能力。
创新点:
-
混合RNN架构:提出的LSTM-GRU混合RNN模型在所有误差指标上均优于其他模型,包括MLP、XGBoost、TDNN和KAN。通过引入注意力机制,模型的预测精度进一步提升,平均误差降低了约50%。
-
KAN的优化:利用正交多项式构建的KAN层,相比传统的B样条激活函数,能够更有效地捕捉期权定价中的非线性关系。实验结果表明,KAN模型在预测精度上比传统MLP提高了约30%。
-
时间动态建模:TDNN通过时间卷积层捕捉期权价格的时间动态特性,虽然在某些指标上不如混合RNN,但相比传统方法仍表现出显著的性能提升,平均误差降低了约20%。
-
模型集成潜力:由于不同模型在不同市场条件下的误差具有互补性,研究提出了模型集成的可能性,通过结合多个模型的优势,有望进一步提升预测精度和鲁棒性。

更多论文料可以关注
:AI科技探寻,发送:111 领取更多[论文+开源码】
948

被折叠的 条评论
为什么被折叠?



