算法进阶 | KAN模型在时间序列预测有效吗？

本文来源公众号“算法进阶”，仅用于学术分享，侵权删，干货满满。

原文链接：KAN模型在时间序列预测有效吗？

Kolmogorov-Arnold网络（KAN）的提出为深度学习领域带来了一些新意，它作为多层感知器（MLP）的一种替代方案，展现了新的可能性。

近期，随着论文《KAN4TSF: KAN和基于KAN的模型对时间序列预测有效吗？》中引入的可逆KAN混合模型（Reversible Mixture of KAN, RMoK）号称能够提高KAN的性能。本文将深入探讨RMoK模型的架构和内部机制，并通过Python实现一个小型实验来验证其性能。

为了全面理解本研究，建议读者参考原始论文以获取更详细的信息（本文最后的参考附带所有内容链接）。

KAN模型回顾

在深入RMoK架构之前，我们首先回顾KAN的基本原理和工作机制。

图1MLP与KAN的比较：MLP在连接上具有可学习的权重，节点上有固定的激活函数。KAN在连接上使用可学习的激活函数，节点执行求和操作。

上图展示了MLP和KAN的核心差异。在MLP中连接代表可学习的权重，节点是固定的激活函数（如ReLU、tanh等）。而KAN采用了不同的方法，在连接上使用可学习的激活函数，节点则执行这些函数的求和操作。

这种设计体现了Kolmogorov-Arnold表示定理，该定理指出多元函数可以通过单变量函数的组合来表示。具体而言，KAN使用B样条作为可学习函数来模拟非线性数据，如图2所示。这种方法为模型提供了极大的灵活性，使其能够学习复杂的非线性关系。

图2：三次样条拟合非线性数据示例。

尽管样条函数具有很强的灵活性，研究人员仍然提出了多种KAN变体，以进一步扩展其应用范围和提高性能。其中，Wav-KAN、JacobiKAN和TaylorKAN是RMoK模型中采用的三种重要变体。

Wav-KAN

Wav-KAN使用小波函数代替样条函数。小波函数在处理信号（如时间序列）时特别有效，因为它们能同时提取频率和位置信息。

图3：使用Ricker小波（又称墨西哥帽小波）对信号进行变换的示例。

图3展示了Ricker小波如何将输入信号转换。下图中的振荡变化反映了原始信号的特征，而在-2.5和2.5标记附近的深色区域则表示原始信号的突变。这种特性使Wav-KAN特别适合处理时间序列数据，能够有效捕捉位置和频率的变化。

JacobiKAN和TaylorKAN

除了样条函数，雅可比多项式和泰勒多项式也是常用的函数近似方法，分别导致了JacobiKAN和TaylorKAN的开发。

TaylorKAN

泰勒多项式是函数在展开点处导数的无限和的近似。展开点是函数和