KAN模型

最新推荐文章于 2025-04-12 14:43:05 发布
最新推荐文章于 2025-04-12 14:43:05 发布
阅读量5.1k 收藏 19
点赞数 7
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_63147690/article/details/138466604
版权
本文介绍了KAN模型，一种受Kolmogorov-Arnold定理启发的深度学习模型，其特点是将激活函数置于权重上。尽管KAN在解释性和精度上有优势，但训练速度较慢，约为MLP的10倍。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.简单介绍

今天给大家介绍一篇最近论文《KAN:Kolmogorov-Arnold Networks》，这篇论文对于在人工智能领域深耕的人还是推荐去阅读一下（虽然星主还没读过原文，48页==痛苦）。由于星主还没读过原文，这里只简单介绍一下。

论文地址：https://arxiv.org/pdf/2404.19756

Github：GitHub - KindXiaoming/pykan: Kolmogorov Arnold Networks

文档说明：Welcome to Kolmogorov Arnold Network (KAN) documentation! — Kolmogorov Arnold Network documentation

这篇文章提出了一个叫KAN（Kolmogorov–Arnold Networks）的模型，它对标的是MLPs（多层感知机），这个模型由数学定理Kolmogorov–Arnold启发得出的。该模型最重要的一点就是把激活函数放在了权重上，也就是在权重上应用可学习的激活函数，这些一维激活函数被参数化为样条曲线，从而使得网络能够以一种更灵活、更接近Kolmogorov-Arnold 表示定理的方式来处理和学习输入数据的复杂关系。这里贴一张原论文中MLP和KAN对比的图

熟悉MLP的人应该清楚，激活函数都是放在了节点上，是不可学习的，星主认为这就是KAN最大的创新点。该模型具有很好的解释性，在某些任务上表现超过了MLP。

2.Kolmogorov-Arnold表示定理

这个定理是由前苏联的两位数学家（Vladimir Arnold 和 Andrey Kolmogorov）提出的，大致说的是：如果f是一个多元连续函数，那么f可以被写成单变量连续函数和二元加法运算的有限复合。

数学形式如下：

f(x)=f(x_1,x_2,...,x_n)=\sum_{q=0}^{2n}\Phi_q(\sum_{p=1}^n \phi _{q,p}(x_p))

这里的\phi_{q,p}:[0,1]->R \quad \Phi_q:R->R。

简单理解为任何多元连续函数都可以表示为单变量连续函数的两层嵌套叠加（一个单一变量的连续函数和一系列连续的双变量函数的组合），更多的数学原理可以去看维基百科：Kolmogorov–Arnold representation theorem - Wikipedia

3.存在的问题

KAN模型的主要优点就是可解释性好，精度高，但训练速度很慢。在相同参数数量下，KAN的训练速度通常比MLP慢大约10倍。

最后，文中给出了一个训练时选MLP还是KAN的图

好了，其它的内容等星主看完原文后再更新。

cnn_lstm_kan模型创新实现股票预测
10-22 1725
A002-cnn_lstm_kan模型在实现股票预测中的创新点主要体现在其模型结构的设计与多模块的组合使用。首先，该模型结合了卷积神经网络（CNN）与长短期记忆网络（LSTM）的优点。CNN被用于从时间序列数据中提取局部的空间特征，其擅长发现数据的局部模式，例如短期内的价格波动。LSTM则能够有效捕捉时间序列中的长期依赖关系，通过其门控机制记住远期的关键数据点，从而为股票价格的长期预测提供支持。相比单一使用CNN或LSTM的模型，这种融合方式能够更好地捕捉股票价格中短期与长期波动的共同影响。
SCI算法！发文首选！参数优化下的BiLSTM-KAN模型回归预测，Python代码
m0_61878377的博客
07-28 894
KAN是2024年最新的算法，是近期非常热门的一个模型。当前对该算法的应用是非常少的，因此该算法是我们写论文的最佳选择。 同时，为进一步加强创新，小当家推出LVY-BiLSTM-KAN。其中，常青藤优化算法（IVY）是元启发式算法领域的最新研究，出版日期2024年7月8日。快来尝尝鲜，早用早发文！！！ 代码及参考文献获取见文末
KAN与卷积网络实现图像识别的新方法
博客之路,前途漫漫
11-24 1267
KAN模型是一种对标多层感知机（MLP）的新型网络结构。与传统的MLP在节点（神经元）上放置固定的激活函数不同，KAN模型在权重上应用了可学习的激活函数。这些一维激活函数被参数化为样条曲线，使得网络能够以一种更灵活、更接近Kolmogorov-Arnold表示定理的方式来处理和学习输入数据的复杂关系。KAN作为一种新提出的能够替换MLP的一种神经网络基石，无论是做项目，还是发论文都是非常有吸引力的。那么既然KAN模型是对标MLP的，那么首先来回顾一下MLP是怎么做的。
用大模型理解爆火的KAN网络
python1222_的博客
05-28 2698
调参也是一门技术活。同样的例子在官网给出的结果更加准确，因为调参的时候做的更精细。下图是官网的结果，exactly由一个平方函数、一个正弦函数和一个指数函数结合。KAN还有一些其他的功能，例如能解微分方程、在学习的过程中有记忆力等等。这个先不谈，后面用到了再说吧。
2025年最好创新的KAN网络模型python代码全合集
最新发布
2510_91195931的博客
04-12 1365
于此，笔者整理了KAN网络模型的python代码全合集，该代码质量优异，注释清晰，配备了KAN网络的原文解读和使用说明，适合新手学习，并且在此基础上进行二创，适合所有科研人员。同时，KAN网络具有更快的神经缩放定律，即随着模型规模的增加，性能提升速度更快。这些可学习的激活函数位于网络的边上，而不是节点（神经元）上，使得每个权重都是一个独立的函数，从而提高了网络的灵活性和表达能力。在KAN网络中，B样条函数被用作可学习的激活函数，通过调整B样条的系数和节点位置，可以灵活地逼近各种复杂的函数形式。
前沿创新 | KAN模型及其组合模型回归预测应用，Python预测回归全家桶更新
m0_61878377的博客
06-18 4515
KAN一种全新的神经网络架构，与传统的 MLP 架构截然不同，且能用更少的参数在数学、物理问题上取得更高精度。本期将推出KAN及其组合模型（TCN-KAN、LSTM-KAN、Transformer-KAN、ResNet-KAN等等等）实现回归预测。KAN是2024年的最新研究成果，一经问世便受到众多关注，当前引用还比较少，早用早发文！！！
故障诊断 | 基于KAN故障诊断模型
Matlab_dashi的博客
10-29 1229
故障诊断是现代工业生产和设备维护中的关键环节，其效率和准确性直接影响着生产效率、产品质量和维护成本。传统的故障诊断方法往往依赖于经验丰富的工程师的判断，存在主观性强、效率低、难以进行知识积累和传承等不足。近年来，随着人工智能和知识工程的发展，基于知识的故障诊断方法逐渐受到重视，其中，KAN (Knowledge Acquisition and Navigation) 模型作为一种有效的知识表示和推理方法，为复杂设备的故障诊断提供了新的途径。本文将深入探讨基于KAN故障诊断模型的原理、优势以及应用前景。
革新突破：MIT与加州理工联手推出KAN，一举超越传统MLP模型！
LiRongLu_的博客
05-03 4734
在今天的深度学习领域，多层感知机（MLP）长久以来被视作构建神经网络的基石。然而，尽管其在多个领域内取得了巨大成功，MLP在参数效率、准确性和可解释性方面的局限性始终是科研人员试图克服的难题。今天，我们迎来了一场可能彻底改变深度学习面貌的技术革命——由麻省理工学院和加州理工学院联合领衔的研究团队提出了一种名为Kolmogorov-Arnold Networks（KANs）的全新网络结构，它不仅在理论上弥补了MLP的不足，更在实际应用中展现出惊人的性能。
几个小创新模型，KAN组合网络（LSTM、GRU、Transformer）时间序列预测，python预测全家桶...
woaipythonmeme的博客
06-14 4619
截止到本期，一共发了8篇关于机器学习预测全家桶Python代码的文章。参考往期文章如下：1.终于来了！python机器学习预测全家桶2.机器学习预测全家桶-Python，一次性搞定多/单特征输入，多/单步预测！最强模板！3.机器学习预测全家桶-Python，新增CEEMDAN结合代码，大大提升预测精度！4.机器学习预测全家桶-Python，新增VMD结合代码，大大提升预测精度！5.Python机器...
中科院1区 | Matlab实现CNN-Transformer时间序列预测
qq_59747472的博客
08-09 1275
时间序列预测是许多科学和工程领域的关键问题，其应用范围涵盖经济预测、气象预报、能源管理等。近年来，深度学习技术，特别是卷积神经网络 (CNN) 和 Transformer，在时间序列预测领域取得了显著进展。本文将介绍一种基于 Matlab 的 CNN-Transformer 模型，用于时间序列预测，并将其应用于实际问题中。该模型充分利用了 CNN 的局部特征提取能力和 Transformer 的全局依赖关系建模能力，在多个时间序列数据集上取得了优异的预测效果，达到了中科院1区期刊发表水平。1. 概述。
改进KAN模型Pytorch完整源码，Kolmogorov-Arnold Networks
07-25
改进KAN模型Pytorch完整源码，Kolmogorov-Arnold Networks Kolmogorov-Arnold Networks (KAN) 使用 Chebyshev polynomials 替换 B-splines. class MNISTChebyKAN(nn.Module): def __init__(self): super...
算法进阶 | KAN模型在时间序列预测有效吗？
csdn_xmj的博客
09-21 1556
Kolmogorov-Arnold网络（KAN）的提出为深度学习领域带来了一些新意，它作为多层感知器（MLP）的一种替代方案，展现了新的可能性。 近期，随着论文《KAN4TSF: KAN和基于KAN的模型对时间序列预测有效吗？》中引入的可逆KAN混合模型（Reversible Mixture of KAN, RMoK）号称能够提高KAN的性能。本文将深入探讨RMoK模型的架构和内部机制，并通过Python实现一个小型实验来验证其性能。
KAN网络架构浅析
sheex2012的博客
06-04 5763
与 MLP 类似，KAN 实际上也具有全连接结构，区别在于，MLPs在节点（神经元）上放置固定的激活函数，而 KAN在边缘（权重）上放置的是可学习的激活函数。，与原始传统的MLP相比，特别是现代MLP采用了更为简单的RELU取代Sigmod激活函数，有效解决了梯度爆炸或消失问题，从而大大降低了深度网络构建和训练难度（当然，还得有Resnet加持）。3. KAN在不同类型的任务和数据集上的泛化能力还需要进一步验证，github上已经有很多关于KAN的实验，不同的研究者的实验结果并不一致。
全新神经网络架构KAN——本文用于学习与探索
xiao_ling_yun的博客
05-11 1万+
24年新神经网络结构KAN论文学习 + 解析，KAN有望作为MLP的更优平替
几个小创新模型，KAN组合网络（LSTM、GRU、Transformer）回归预测，python预测全家桶再更新！...
woaipythonmeme的博客
07-05 2227
截止到本期，一共发了9篇关于机器学习预测全家桶Python代码的文章。参考往期文章如下：1.终于来了！python机器学习预测全家桶2.机器学习预测全家桶-Python，一次性搞定多/单特征输入，多/单步预测！最强模板！3.机器学习预测全家桶-Python，新增CEEMDAN结合代码，大大提升预测精度！4.机器学习预测全家桶-Python，新增VMD结合代码，大大提升预测精度！5.Python机器...
什么是KAN网络？
GamBleout的博客
09-27 3281
KAN网络，全称为Kolmogorov-Arnold Networks，是一种新型的神经网络架构，其设计灵感来源于Kolmogorov-Arnold表示定理。该定理表明，多元连续函数可以表示为有限数量的单变量连续函数和二元加法运算的复合。KAN网络正是基于这一理论，旨在通过在网络边缘（即权重）上引入可学习的激活函数，来提高模型的灵活性和表达能力，同时保持模型的解释性。
KAN 学习 Day1 —— 模型框架解析及 HelloKAN
T940842933的博客
09-02 3062
不得不说，这个hellokan跑下来，真的很丝滑，而且感受到了作者团队的心思缜密，除了发挥模型自身的优势（理论上），还将模型优化、模型可视化、模型版本等细节都展示出来了。这也是我第一次使用ipynb跑模型，感受到了逐步运行的乐趣。目前在模型训练的体验上我对KAN产生了十分的好感，至于它的功能是否真的强大，还需要其他案例的测试。欢迎感兴趣的小伙伴一起交流！
KAN 笔记
ZG
05-12 816
让机器学习每个特定神经元的最佳激活，而不是由人类决定使用什么激活函数，对于搞模型的来说就是把就是MLP把权重换成了样条函数。，数学上的东西不太懂捏。
WHAT KAN I SAY？Kolmogorov-Arnold Network (KAN)网络结构介绍及实战（文末送书）
热门推荐
Hello大家好，我是Dream，如果帮得到你，那我深感荣幸！想进粉丝福利群及免费送书群，直接私信我拉你。交流学习、商务合作：https://bbs.youkuaiyun.com/topics/614347534
12-26 3万+
2024年4月，来自MIT、加州理工学院、东北大学等团队的研究，引爆了一整个科技圈：Yes We KAN！ 这种创新方法挑战了多层感知器(Multilayer Perceptron，MLP)的传统观点，为神经网络架构提供了全新的视角，GitHub上收获15k stars。
KAN分类模型代码及其解释
03-31
<think>好的，我现在需要处理用户关于KAN分类模型的代码和原理的问题。首先，用户提到了KAN模型，这是基于Kolmogorov–Arnold定理的神经网络结构，与传统的MLP不同，KAN将激活函数放在权重上，使用可学习的样条曲线。用户希望得到相关的实现代码和原理解释。 首先，我需要回忆KAN的基本结构。根据引用[1]，KAN的关键点是用可学习的激活函数替代了MLP中的固定激活函数，这些激活函数被参数化为样条曲线，从而提高了模型的灵活性和表达能力。权重参数变成了这些激活函数的参数，而不是传统的线性变换后的标量。 接下来，用户需要代码示例。我需要考虑如何用Python实现一个简单的KAN层。可能需要使用PyTorch，因为深度学习框架中PyTorch比较灵活，适合自定义层。样条函数的实现可能需要使用插值方法，比如B样条，这里可能需要用到scipy的插值库，或者手动实现样条参数化。 然后，关于分类模型，通常会在最后一层使用softmax激活函数，结合交叉熵损失。所以，KAN分类模型可能由多个KAN层组成，最后接一个全连接层或者直接输出类别概率。 在代码部分，需要定义一个KANLayer类，其中包含可训练的样条参数。每个神经元之间的连接都有一个激活函数，这里可能需要将输入通过每个权重对应的样条函数，然后求和。例如，对于输入x，每个权重w_i对应的激活函数是spline_i(x)，然后输出是这些spline_i(x)的和加上偏置。 需要注意样条函数的参数化和前向传播的实现。例如，可以使用B样条的基函数，将输入映射到样条系数上，然后进行线性组合。或者，可以使用可学习的控制点来定义样条曲线，通过插值计算激活值。 在原理解释部分，需要对比KAN和MLP的不同，强调激活函数的位置和可学习性，以及样条函数带来的优势，比如更灵活的函数逼近，更少的参数等。同时，需要提到Kolmogorov-Arnold定理，说明KAN的理论基础，即任何多元连续函数可以表示为单变量函数的组合。 用户提供的引用[2]提到了LSTM-KAN的负荷预测，这可能说明KAN可以与其他模型结合，比如LSTM，用于时间序列任务。但用户的问题是关于分类模型，所以需要集中讨论分类任务中的应用。 可能的挑战包括如何高效实现样条函数的参数化，尤其是在反向传播时的梯度计算。此外，KAN的训练可能需要特定的初始化方法或优化技巧，以确保样条函数的稳定性。 最后，生成相关问题需要考虑用户可能的后续疑问，比如KAN的优势、训练技巧、与其他模型的比较，以及在不同任务中的应用案例。 现在需要整合这些思考，编写结构清晰的回答，包括代码示例、原理解释和相关问题。确保代码正确，使用PyTorch框架，并正确引用用户提供的资料。</think>### KAN分类模型实现及原理解释 KAN（Kolmogorov–Arnold Networks）是一种基于Kolmogorov-Arnold表示定理的神经网络，通过可学习的样条激活函数替代传统MLP的固定激活函数，在权重上实现动态函数拟合[^1]。 #### 代码实现（基于PyTorch的简化版） ```python import torch import torch.nn as nn from scipy.interpolate import BSpline class KANLayer(nn.Module): def __init__(self, input_dim, output_dim, degree=3): super().__init__() self.input_dim = input_dim self.output_dim = output_dim self.degree = degree # 初始化样条控制点参数 self.ctrl_pts = nn.Parameter(torch.randn(output_dim, input_dim, degree + 1)) self.bias = nn.Parameter(torch.zeros(output_dim)) def forward(self, x): outputs = [] for i in range(self.output_dim): # 为每个输出神经元计算样条激活 neuron_output = 0 for j in range(self.input_dim): # 创建B样条基函数 t = torch.linspace(0, 1, self.degree + 2) basis = BSpline(t, self.ctrl_pts[i,j], self.degree, extrapolate=False) neuron_output += basis(x[:,j]) # 输入特征通过样条函数 outputs.append(neuron_output + self.bias[i]) return torch.stack(outputs, dim=1) class KANClassifier(nn.Module): def __init__(self, input_size, num_classes): super().__init__() self.kan1 = KANLayer(input_size, 64) self.kan2 = KANLayer(64, 32) self.fc = nn.Linear(32, num_classes) def forward(self, x): x = torch.sigmoid(self.kan1(x)) # 添加非线性 x = torch.relu(self.kan2(x)) return self.fc(x) ``` #### 工作原理 1. **核心结构** KAN的每个权重对应一个可学习的样条函数（B样条），数学表达式为： $$ \phi(x) = \sum_{k=0}^{n} c_k B_{k,p}(x) $$ 其中$B_{k,p}$是$p$次B样条基函数，$c_k$为可学习参数。 2. **与MLP对比** - MLP：$y = \sigma(Wx + b)$，固定激活函数 - KAN：$y = \sum_{i} \phi_i(x_i)$，可学习激活函数 3. **训练过程** 通过反向传播同时优化： - 样条控制点参数（定义激活函数形状） - 网络拓扑连接权重 4. **分类实现** 最终层使用标准全连接层+Softmax实现分类，前序KAN层负责特征变换： $$ P(class=i|x) = \text{Softmax}(W_{final} \cdot \Phi_{KAN}(x)) $$ ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值