1. 从MLP到KAN:为什么我们需要一场“底层革命”?
如果你在过去几年里玩过深度学习,哪怕只是跑过一个简单的图像分类demo,那你一定对MLP(多层感知器) 不陌生。它就像深度学习世界的“砖块”,是构成几乎所有复杂网络的基础。从最早的神经网络到如今庞大的Transformer,MLP都是核心的计算单元。它的工作原理很直观:输入数据经过一层层的“线性变换”和“非线性激活函数”(比如ReLU),最终得到输出。理论上,只要层数够多、神经元够多,MLP能逼近任何复杂的函数,这就是著名的“通用逼近定理”。
但用久了,你就会发现MLP的一些“老毛病”。首先,它是个“黑盒子”。你很难说清楚中间某一层、某一个神经元到底在计算什么,它们共同协作,但缺乏独立的、可解释的意义。其次,为了达到高精度,MLP往往需要堆砌海量的参数。想想看,Transformer里的前馈网络(FFN)动辄就是成千上万的维度,参数爆炸式增长,对算力和内存都是巨大的挑战。更重要的是,MLP的“逼近”方式有点“笨”。它试图用一个全局的、由简单非线性函数堆叠而成的网络去拟合所有数据,这就像试图用一把大锤去敲所有钉子,虽然最终可能敲进去,但效率不高,也不够优雅。
这时候,KAN(Kolmogorov-Arnold Networks) 带着一套完全不同的哲学出现了。它不再把非线性能力完全交给那些固定的、死板的激活函数(比如ReLU、Sigmoid),而是把“学习函数形状”这件事,交给了网络本身。KAN的核心思想,是回到了一个更古老的数学定理——Kolmogorov-Arnold表示定理。这个定理说,任何一个复杂的多元连续函数,都可以分解成有限个单变量函数的求和。这听起来有点抽象,我打个比方:你要做一桌满汉全席(复杂多元函数),传统MLP的思路是训练一个超级厨师,让他一次性处理所有食材和工序。而KAN的思路是,请来一群专项厨师,一个专门处理火候(单变量函数1),一个专门负责刀工(单变量函数2),一个专门调味(单变量函数3),最后把他们的成果汇总起来。后者显然更模块化,也更容易理解每个“厨师”的贡献。
KAN就是把这种“专项厨师”的思想实现了。在KAN中,网络边(edge)上的权重不再是简单的标量数字,而是一个个可以学习的、灵活的单变量函数。这些函数用什么来实现呢?这就是样条(Spline),特别是B样条(B-spline) 大显身手的地方。所以,KAN的本质可以看作是 MLP的“骨架” 加上 Spline/B-spline的“血肉” 。它继承了MLP的层级结构和信息传递方式,但用可学习的、平滑的样条函数取代了固定的、僵化的激活函数,从而在理论表达能力、可解释性和参数效率上,都带来了全新的可能性。接下来,我们就深入看看,Spline和B-spline是如何为KAN注入灵魂的。
2. Spline与B-spline:给函数“自由变形”的魔法工具箱
要理解KAN,必须先搞懂它赖以生存的数学工具——样条。你可能没听过这个名字,但你一定用过它的思想。想象一下,你要用一根柔软的尺子(或者PS里的钢笔工具)去勾勒一组散乱的数据点,画出一条光滑的曲线穿过它们,这就是插值。最简单粗暴的方法是用一个非常高阶的多项式函数一次性穿过所有点,但这会带来灾难性的“龙格现象”(Runge‘s phenomenon):在数据点之间,尤其是区间边缘,曲线会疯狂振荡,完全失去预测意义。
样条聪明地解决了这个问题。它的策略是“分而治之”:把整个定义域分成很多小区间,在每个小区间内,用一个很低阶(比如三次)的多项式来拟合。然后,在区间与区间的连接处(称为“节点”或“结”,Knot),要求这些多项式在函数值、甚至一阶导数、二阶导数上都保持连续。这样,最终拼接出来的整体曲线,既保持了全局的光滑性,又避免了高阶多项式的不稳定振荡。这就像用一段段柔软的、低阶的“弹簧”连接起来,形成一根能平滑弯曲的“样条尺”,故名“样条曲线”。
在KAN的早期构想中,使用的就是这种分段多项式样条。但是,直接使用分段多项式在计算和实现上有些麻烦,特别是在需要动态调整和高效求导时。于是,更强大的工具——B样条(B-spline,Basis-spline的缩写) 登场了。B样条可以看作是构建样条函数的“乐高积木”。它有一组称为“B样条基函数”的特定函数,这些基函数本身是分段多项式,并且具有局部支撑性(每个基函数只在少数几个相邻区间内非零)。任何我们想要的样条函数,都可以表示成这组基函数的线性组合。
B样条有几个关键优势,让它成为KAN的理想选择:
- 数值稳定性好:基函数的局部性使得计算和修改局部曲线时,不会“牵一发而动全身”。
- 易于求导和积分:B样条函数的导数仍然是B样条函数,这为基于梯度下降的训练(如反向传播)提供了极大的便利。
- 灵活性高:通过增加节点密度(即“细化网格”),可以在需要更高精度的区域增加更多的“积木块”,从而以任意精度逼近目标函数,这直接带来了可控制的逼近精度。
- 定义统一:B样条在其定义域内所有节点处都具有预设的连续性(如C²连续),管理起来非常规范。
在KAN中,连接网络每一层神经元的那条“边”,不再是一个静态的权重值 w,而是一个由B样条基函数组合而成的可学习函数 Φ(x)。这个 Φ(x) 的形状会在训练过程中,根据数据反馈不断调整。你可以把它想象成一条可以自由弯曲的“传输管道”,它的弯曲形状决定了信息从上一个神经元流向下一个神经元时的具体变换方式。这就是KAN革新性的核心:将学习从“寻找最优权重标量”提升到了“寻找最优函数形态”的维度。
3. KAN架构拆解:当数学定理变成神经网络层
知道了B样条这个强大的工具后,我们来看看KAN是如何具体搭建起来的。一切始于Kolmogorov-Arnold (KA) 表示定理。它的数学表达式是:对于一个多元连续函数 f(x1, x2, ..., xn),它可以被精确表示为两层单变量函数的嵌套求和:
f(x1, ..., xn) = Σ_{q=1}^{2n+1} Φ_q ( Σ_{p=1}^{n} Φ_{q,p}(x_p) )
这里的 Φ_{q,p} 和 Φ_q 都是单变量连续函数。这个定理告诉我们,多元函数的复杂性,本质上可以分解为多个一元函数处理的线性组合。
KAN网络就是对这个定理的直接、优雅的实例化。一个最简化的两层KAN结构如下:
- 第一层(内部函数层):对应定理中的
Φ_{q,p}(x_p)。假设输入是n维,我们创建(2n+1)个神经元。对于第q个神经元,它的输入是n个单变量函数Φ_{q,1}(x1), Φ_{q,2}(x2), ..., Φ_{q,n}(xn)的和。注意,这里的每个Φ_{q,p}都是一个可学习的B样条函数,它作用在单个输入特征x_p上。 - 第二层(外部函数层):对应定理中的
Φ_q。它将第一层(2n+1)个神经元的输出,再次通过(2n+1)个单变量B样条函数Φ_q进行处理,然后求和,得到最终的输出。
用矩阵运算的眼光来看会更清晰。我们可以把一层KAN定义为一个函数矩阵 Φ 对输入向量 x 的运算。假设输入维度是 n_in,输出维度是 n_out,那么这一层KAN包含 n_in * n_out 个可学习的B样条函数。每个函数 Φ_{l,i,j} 负责将第 l-1 层的第 i 个神经元的输出,变换后传递给第 l 层的第 j 个神经元。整个层的计算就是所有输入经过各自对应的函数变换后的求和。
# 一个高度简化的KAN层前向传播概念代码
import torch
import torch.nn as nn
# 假设我们有一个B样条函数库,SplineFunction封装了B样条基的线性组合
class SplineFunction(nn.Module):
def __init__(self, num_basis, grid_range):
super().__init__()
self.coeffs = nn.Parameter(torch.randn(num_basis)) # 可学习的基函数系数
# ... 这里省略B样条基函数的具体实现 ...
def forward(self, x):
# 计算x在所有B样条基函数上的值,与系数coeffs做线性组合
return spline_output
class KANLayer(nn.Module):
def __init__(self, input_dim, output_dim):
super().__init__()
# 为每一对 (输入, 输出) 创建一个SplineFunction
self.spline_functions = nn.ModuleList([
[SplineFunction(...) for _ in range(output_dim)] for _ in range(input_dim)
])
def forward(self, x): # x shape: (batch_size, input_dim)
batch_size = x.shape[0]
output = torch.zeros(batch_size, len(self.spline_functions[0]))
for i in range(self.input_dim):
for j in range(self.output_dim):
# 输入x的第i个特征,经过函数Φ_{i,j}变换,加到第j个输出上
output[:, j] += self.spline_functions[i][j](x[:, i])
return output
当然,实际MIT团队的实现用了大量优化来向量化这个计算过程,但核心逻辑就是如此:边是函数,节点是做加法。这与MLP的“边是权重,节点是非线性函数”形成了镜像般的对比。这种结构上的对调,正是KAN可解释性的根源——我们可以直观地可视化每条边上的函数 Φ(x),看看它对输入做了什么样的变换。
4. 实战优化:让KAN从理论走进实验室
光有漂亮的数学架构还不够,要让KAN在真实的训练中稳定工作并快速收敛,MIT团队引入了几项非常关键的工程优化,这些技巧对于想复现或应用KAN的人来说至关重要。
### 4.1 残差激活与初始化策略
直接训练一个纯粹的样条函数可能会遇到梯度不稳定或学习缓慢的问题。为此,KAN将每条边上的激活函数 Φ(x) 设计为一个残差结构:Φ(x) = w * b(x) + spline(x)。
b(x)是一个基础的非线性函数,比如SiLU(Swish)函数。它提供了一个良好的初始变换基准。w是一个可学习的标量权重,它控制基础函数的强度。spline(x)就是我们核心的可学习B样条部分。
这个设计非常巧妙。在训练初期,通过将样条部分的系数初始化为接近零,并使 w 用标准MLP方法(如Kaiming初始化)初始化,整个网络的行为类似于一个传统的、以 b(x) 为激活函数的MLP,这保证了训练的起点是稳定的。随着训练进行,网络会逐渐学习到 spline(x) 中更精细的、数据驱动的函数形状修正。这类似于残差连接中的“恒等映射”思想,确保了信息流动的畅通。
### 4.2 动态网格更新:让样条跟上数据的脚步
B样条函数定义在一个预设的、均匀的“网格”区间上。但训练过程中,激活值的分布可能会发生变化,甚至跑出初始网格定义的范围,导致外推性能差。静态网格显然不行。
KAN采用了一种动态网格更新策略。它会定期(例如每隔几个训练步)统计每个激活函数输入值的实际分布,然后根据分位数(例如最小值和最大值)来重新调整该函数B样条的网格边界和节点位置。这样,样条函数始终“聚焦”在数据实际出现的区域,确保了其逼近能力始终在线。这个过程是自动的、可微分的(通过直方图统计和插值实现),因此可以无缝嵌入到反向传播中。
### 4.3 高效的缩放与扩展:从瘦子到巨人的科学路径
KAN展示了一个迷人的特性:神经缩放定律。即测试误差随着模型参数的增加而平滑下降。由于B样条可以通过增加网格粒度(更多节点)来无限提高逼近精度,KAN的缩放潜力理论上非常优秀。
更实用的是,KAN支持一种“渐进式扩展”的训练范式。你可以先训练一个网格较粗、参数较少的小型KAN。当它收敛后,你可以对每个样条函数进行“细化”:在其每个网格区间内插入新的节点,从而将网络扩展成一个参数更多、网格更细的大型KAN。然后,你可以用小型KAN的参数作为初始化,继续训练大型KAN。这种方法往往比直接训练大型网络更快、更稳定,因为它利用了粗粒度网络已经学到的函数形状先验。
5. 可解释性实践:打开KAN的“黑箱”,看见符号公式
KAN最引人瞩目的承诺之一就是可解释性。在MLP里,我们很难说清一个神经元在做什么。但在KAN里,每条边上的函数 Φ(x) 都是可视化的对象。MIT团队提供了一整套从“稀疏化”到“符号化”的流程,来将训练好的KAN变成一个人类可以理解的模型。
### 5.1 稀疏化与剪枝:抓住主要矛盾
一个未经处理的、训练好的KAN可能仍然很复杂,许多边上的函数作用微乎其微。第一步是稀疏化训练。除了常规的任务损失(如MSE),我们在损失函数中加入对激活函数 Φ 的L1正则化,鼓励它们的幅度变小。同时,还引入了一种基于熵的正则化,进一步促进函数形状的简化。经过这种训练,不重要的连接其函数会趋于零或非常平缓。
接下来是剪枝。我们可以设定一个阈值,将幅度小于该阈值的边直接移除(将其函数设为零)。也可以在神经元级别进行剪枝:如果一个神经元的所有输入边或所有输出边都不重要,那么这个神经元本身可以被移除。这个过程能大幅简化网络结构,得到一个更紧凑、核心的子网络。
### 5.2 可视化:函数的“心电图”
剪枝后,我们可以直接绘制出剩余边上 Φ(x) 的函数曲线。MIT的代码库提供了强大的可视化工具,可以将网络结构图和函数曲线叠加显示。函数的透明度可以与其重要性(幅度)挂钩,这样一眼就能看出哪些变换是关键性的。例如,在处理物理数据时,你可能会发现某个边上的函数曲线非常接近 sin(x) 或 exp(x),这立刻给了你关于该特征变换的物理洞察。
### 5.3 符号化:从曲线到数学公式
这是最激动人心的一步。当我们怀疑某个学到的 Φ(x) 实际上对应一个已知的数学函数(如 sin, cos, log, x^2)时,我们可以进行符号化拟合。具体做法是,收集该函数输入输出的数据对 (x, y),然后尝试用 y ≈ c * f(a*x + b) + d 来拟合,其中 f 是我们猜测的符号函数,a, b, c, d 是待拟合的仿射变换参数(用于缩放、平移和拉伸)。
通过迭代搜索和线性回归,我们可以找到最优的仿射参数,并将这个可学习的B样条函数“固定”为我们发现的符号函数。这样,网络的一部分就从数值近似变成了精确的数学表达式。在符号回归或科学发现任务中,这个过程可以自动从数据中重新发现基本的物理定律,例如,从运动数据中“发现” F=ma 这样的关系。
6. 优势、挑战与未来:KAN将走向何方?
经过前面的深入剖析,我们可以更全面地看待KAN的优势与当前面临的挑战。
优势总结:
- 更高的参数效率与精度:在参数量相同或更少的情况下,KAN在众多科学计算任务(如求解偏微分方程、拟合复杂函数)上,其逼近精度显著优于MLP。因为它用灵活的样条直接学习函数形态,而非用大量线性权重去“硬凑”。
- 内在的可解释性:如前所述,可视化与符号化能力是革命性的,为“可解释AI”和“AI for Science”提供了强大的新工具。
- 更好的缩放特性:得益于B样条的网格细化能力,KAN的缩放定律表现优异,且支持渐进式扩展训练。
- 避免灾难性遗忘的潜力:有初步研究表明,由于函数学习的局部性,KAN在连续学习任务上可能比MLP表现更稳健。
当前的挑战与瓶颈:
- 训练速度慢:这是目前最现实的瓶颈。在参数量相当的情况下,KAN的训练速度通常比MLP慢一个数量级(10倍左右)。主要原因在于,计算成千上万个不同的B样条函数,并为其求导,比计算统一的、高度优化的矩阵乘法和ReLU激活要昂贵得多。这对GPU的并行计算架构也不够友好。
- 计算开销大:动态网格更新、大量的函数求值都需要额外的计算和内存开销。
- 软件生态缺失:目前只有PyTorch的原型实现,缺乏像TensorFlow/Keras那样成熟的、高度优化的API和生态系统支持,也尚未集成进主流的深度学习框架。
- 大尺度任务验证不足:KAN在图像分类、大规模自然语言处理等经典深度学习“主战场”上的表现,尚未得到像Transformer在MLP基础上那种颠覆性的证明。要撼动Transformer的地位,道路还很漫长。
未来的可能方向: 从我个人的观察和社区动态来看,KAN的未来发展可能会围绕以下几点展开:
- 算法与工程优化:这是当务之急。研究更快的B样条计算方法、设计专用的硬件加速单元(如针对样条计算的AI芯片)、探索激活函数分组共享(Grouped Activation)以在灵活性和效率间取得平衡。
- 架构杂交:将KAN层与传统的MLP层或注意力层结合,形成混合模型。例如,用KAN层处理需要高解释性和精确函数拟合的部分(如科学模型中的方程项),用MLP/Transformer处理大规模的模式识别部分。
- 成为科学发现的标配工具:在数学、物理、化学、生物等基础科研领域,KAN的可解释性和高精度拟合能力使其有望成为数据分析、符号回归和假设发现的强大工具,率先在这些领域扎根。
- 推动“函数学习”范式:KAN的成功可能会激励更多基于“学习函数”而非“学习权重”的神经网络架构出现,丰富深度学习的设计空间。
在我自己尝试复现和一些简单实验的过程中,确实能感受到KAN在拟合复杂函数时的那种“丝滑”和精准。虽然每次训练都得泡杯咖啡等更久,但看到训练完成后能清晰可视化出每条边上学到的函数,甚至能解读出一些有意义的模式时,那种满足感是调参黑盒模型无法比拟的。它目前可能还不是替代MLP的“日常工具”,但它无疑为我们打开了一扇新的大门,让我们看到了神经网络设计的另一种可能——一种更贴近数学本质、更透明、也或许更智能的可能。对于研究者和那些对模型“为什么”工作感兴趣的人来说,KAN是一个非常值得投入时间深入探索的宝藏。
274



被折叠的 条评论
为什么被折叠?



