KAN + Transformer新突破！快速发论文的创新点！

2024深度学习发论文&模型涨点之——KAN + Transformer

KAN（Kolmogorov-Arnold Networks）与Transformer的结合是一种新兴的研究领域，它旨在利用KAN的灵活性和可解释性以及Transformer的强表示能力和序列处理能力，创造一个在复杂数据任务中更加高效、灵活且易于理解的模型。这种结合模型可以应用于时间序列预测等多个领域，显著提高性能以及准确性，是未来非常有潜力的研究方向。

KAN是基于Kolmogorov-Arnold表示定理的网络，该定理表明任何连续高维函数都可以分解为单变量连续函数和加法的有限组合。这意味着加法是唯一真正的多元运算，而其他多元运算（包括乘法）都可以表示为与单变量函数组合的加法。KAN网络在边（权重）上放置可学习的激活函数，而不是在节点（神经元）上放置固定激活函数，这样的设计使得KAN在准确性和可解释性方面表现优于传统的多层感知器（MLP）。

如果有同学想发表相关论文，小编整理了一些KAN + Transformer【论文】合集，以下放出部分，全部论文PDF版，需要的同学公人人人号【AI智界先锋】回复“KAN + Transformer”即可全部领取

论文精选

论文1：

A Temporal Kolmogorov-Arnold Transformer for Time Series Forecasting

时间序列预测的时间科尔莫戈洛夫-阿诺德变换器

方法

• Temporal Kolmogorov-Arnold Networks (TKANs)：提出了一种新的基于时间的科尔莫戈洛夫-阿诺德网络，用于处理序列数据和记忆管理。

• 编码器-解码器架构：使用TKAN层代替LSTM层，构建了一个编码器-解码器模型，特别适用于已知输入较少而观察输入较多的任务。

• 门控机制：在模型中引入了门控机制，帮助管理信息流，决定随时间保留或遗忘的信息。