论文:Lan Guo, Mengling Li, Haoran Li, Jun Shen, Yuanbo Jiang, Qingguo Zhou, Binbin Yong*. Core-KAN: Continuous Vision Kernels with Kolmogorov–Arnold Networks. arXiv:2608.19817v1, 2026.
作者单位:兰州大学信息科学与工程学院 / 莫纳什大学数据科学与人工智能系 / 伍伦贡大学计算与信息技术学院
一句话摘要
我们认为,自适应卷积长期面临的根本矛盾是「适应性越强,参数与计算越爆炸」。Core-KAN 通过把深度卷积核从一张「固定离散权重表」升级为一个由 KAN 参数化的「连续坐标-到-核函数场 Φθ:R2→RNΦ_θ: R²→R^NΦθ:R2→RN」,再用一个相对尺度控制器和一个内容混合控制器分别控制核的「几何形状」与「内容选择」,并用 M=8 个尺度支持点上的响应插值代替逐位置核生成,最终在三个视觉任务上以远低于 KernelWarehouse 等强基线的参数量取得最优或可比精度。
一、这篇论文想要解决的问题
视觉表征的一个基本动作是局部聚合(local aggregation)。在过去的十年里,卷积几乎是这一动作的唯一合理选择:一个 3×3 的小核在空间上滑动、共享权重,因而天然具备平移等变性、参数高效性与局部归纳偏置。这些性质正是 CNN 能成为视觉骨干网络的原因。然而,正是让卷积高效的那一条性质——「所有位置共用同一个固定离散核」——也同时锁死了它的表达能力。一张街景里,远处一辆小汽车、近处一块车牌、天空的背景纹理、树叶的细碎边缘,都被迫使用同一组 9 个权重。论文原文直接点出这一点:
Conventional convolutional kernels are typically defined on fixed discrete grids, limiting their ability to accommodate heterogeneous local structures.
围绕「如何让卷积核更适应局部结构」这条主线,过去几年形成了三股并行的努力,但每一股都只解决了一部分。
第一股是「大核 / 多尺度核」。代表性工作包括 Selective Kernel Network、RepLKNet、UniRepLKNet、MoreConvNets、ConvNeXt、SLaK、Strip R-CNN 等。它们的做法是扩大感受野,让一个 3×3 核变成 31×51 甚至更大的核,从而捕获更广的上下文。然而,这些核在训练结束后依然是「一张固定大小的离散权重表」:所有位置仍共享同一组参数。它们回答了「kernel 应该看多大」,但没有回答「kernel 在不同位置应该长什么样」。
第二股是「动态 / 条件卷积」。Dynamic Convolution、CondConv、WeightNet、ODConv、KernelWarehouse、FDConv 等都属于这一类。它们让卷积核由输入决定:对一张猫的图像生成与猫相关的核,对一辆汽车生成与汽车相关的核;其形式可以统一写成
K(x)=∑iai(x) Ki, K(x) = \sum_{i} a_i(x)\,K_i, K(x)=i∑ai(x)Ki,
即一组专家核 Ki{K_i}Ki 配合一个输入依赖的注意力 ai(x){a_i(x)}ai(x)。这一类方法确实显著提升了模型对内容的适应性,但本质上是一套「离散专家选择 + 离散路由」机制:核空间是有限的几个点,路由信号是一个标量权重。这带来了两个深层的限制。其一,真实视觉世界的尺度变化是连续的——同一辆汽车从远处到近处,核应该沿一条连续轨迹过渡,而不是在几个专家之间跳变;离散专家体系无法表达这条轨迹。其二,也是更关键的,这些方法把「核选什么」和「核长什么样」两件事用同一个路由信号耦合在一起:当某个位置的核变大时,模型其实分不清这是因为「目标尺度变大」还是「内容纹理变复杂」。可解释性和表达效率都因此受损。
第三股是「形变卷积」。Deformable Convolution v1/v2、DCN、InternImage、EffDeform 等方法从采样端入手:不去改权重,而是让网络预测每个位置的偏移 ΔpΔpΔp,把采样的网格从 p+δp+δp+δ 改成 p+δ+Δpp+δ+Δpp+δ+Δp。这一招在物体几何形状不规则、网格采样点应当被「挪到」目标边缘附近时非常有效。但 Core-KAN 走的是一条不同的路:**保持规则卷积网格不动,去改变核函数本身在这张网格上的取值。**论文的原文是 Core-KAN follows a different principle. It keeps the regular convolutional grid intact and adapts the kernel function evaluated on that grid. 用一句话对比,Deformable Conv 是「移动眼睛」,Core-KAN 是「不移动眼睛,但改变眼睛看到的组合方式」。
第四股,也是与 Core-KAN 血缘最近的一股,是「连续核卷积」。CKConv、FlexConv、SMPConv、Deep Parametric Continuous CNN、PointConv 等工作都把核从离散权重表视为坐标到权重的连续函数 K(x,y)K(x,y)K(x,y),并用 MLP / 核网络去近似这一函数,从而在点云、时间序列、变长感受野上得到非常紧凑的表示。但这些方法通常学的是「layer-level 或全局共享」的一个连续核场:同一层内所有位置共用同一个 K(⋅)K(·)K(⋅)。它们擅长参数压缩,但并没有为「位置级(dense location-wise)的核适配」而设计。
于是,当我们把整个卷积算子的进化排成一行:
| 代际 | 核的表示 | 解决什么 | 留下什么 |
|---|---|---|---|
| 固定卷积 | 离散权重 KKK | 效率 / 等变 | 缺乏适应性 |
| 大核 / 多尺度 | 更大的离散 KKK | 感受野 | 仍然位置共享 |
| 动态 / 条件卷积 | K(x)=ΣaiKiK(x) = Σ a_i K_iK(x)=ΣaiKi | 内容适应 | 离散专家、尺度-内容耦合 |
| 形变卷积 | K(p+Δp)K(p+Δp)K(p+Δp) | 几何适应 | 改采样而非改核 |
| 连续核卷积 | K(q)K(q)K(q) 连续函数 | 连续表示 | 通常全局共享 |
| Core-KAN(本文) | Φθ(s(p)⋅q)Φ_θ(s(p)·q)Φθ(s(p)⋅q) 局部条件化的连续核场 | 几何尺度 + 内容组合解耦、密集位置级适配 | 响应库随 MMM 增长 |
可以看到,Core-KAN 处在「连续核卷积」与「动态卷积」的交叉点,但又比两者都更进一步:它把「全局连续的核」升级为「由局部相对尺度条件化、且与内容混合机制解耦的密集位置级连续核场」。
我们的核心观察是:空间自适应其实由两个本质不同的决策组成。第一个是几何决策——局部应该使用一个更锐利、更宽广、还是不同形状的核轮廓;第二个是内容决策——给定的局部视觉证据应该激活哪几种潜在核模式(边缘 / 纹理 / 颜色 / 结构)的组合。已有动态核方法往往把这两个决策绑进同一个路由信号,而 Core-KAN 把它们显式拆开,分别交给两个轻量控制器。这一拆解,是整篇论文的方法学心脏。
Figure 1:传统卷积与 Core-KAN 的概念对比(原论文 Figure 1)
![]()
图 (a) 描绘的是我们熟知的传统卷积:输入特征图上有一个绿色的「位置」框,箭头指向一个 3×3 的 position-shared discrete kernel,这个核在整张输入上滑动并产生输出特征图。所有位置共用同一组权重。
图 (b) 描绘的是 Core-KAN:输入同时被送入一个 Scale Controller(尺度控制器)和一个 Mixing Controller(内容混合控制器)。Scale Controller 输出一个密集的局部尺度场,该场驱动一个 KAN Layer(带火焰标记表示它是可学习的一次样条函数族 ΦθΦ_θΦθ),从而在 R2R²R2 上产生 NNN 个连续核场(continuous kernel field)。Mixing Controller 则按位置给这 NNN 个 basis 分配 simplex 权重,把它们组合成最终输出。两路控制彼此独立,从而在保持规则采样网格的同时,让核函数随位置连续变化。这张图正是整篇论文「不挪网格、改核函数」思想的可视化。
二、核心贡献
把上面那段动机翻译成可落地的技术贡献,论文给出三个明确主张。
第一,提出 Core-KAN:一个由相对尺度条件化、由 KAN 参数化的连续卷积算子。它的核心结构是 KAN 把一个二维连续坐标 q∈[−1,1]2q∈[-1,1]²q∈[−1,1]2 映射到 NNN 维向量 Φθ(q)∈RNΦ_θ(q)∈R^NΦθ(q)∈RN,每一维对应一个「核基」场;再把局部预测的相对尺度 s(p)s(p)s(p) 乘到 qqq 上作为查询坐标 sqsqsq,从而让核函数在「位置 × 尺度」这个二维空间里被连续查询。这与既有「全局连续核」工作的本质差异是:Core-KAN 的核场是「密集位置级条件化」的,而不是 layer-level 共享的。
第二,设计了一个支持点-插值(support-and-interpolate)读取机制,配合解耦的双控制器。这条机制是 Core-KAN 真正能落地、不爆炸的关键。它先在 M=8M=8M=8 个相对尺度支持点 sj{s_j}sj 上各查询一次 KAN,得到 8 组固定大小的核;再用一个轻量 depthwise 卷积生成一个「响应库」R∈RB×M×N×Ho×WoR∈R^{B×M×N×H_o×W_o}R∈RB×M×N×Ho×Wo;最后对每个位置 ppp,根据其预测的 s(p)s(p)s(p) 在两个相邻支持点之间做一次线性插值,从而把 MMM 个固定查询的结果扩展为位置级的连续响应。整个过程把「每位置生成一个核」的复杂度 O(HW)O(HW)O(HW) 降回到「每尺度生成一个核」的 O(M)O(M)O(M)。同时,scale controller 与 mixing controller 各管一摊:前者管「核的几何形状随尺度怎么变」,后者管「这些 basis 响应按内容怎么混」。两者的解耦既提升了可解释性,也避免了动态卷积里常见的「路由信号既要选专家又要选几何」的负担。
第三,在三个具有代表性的视觉任务(ImageNet-1K 分类、COCO 检测/实例分割、ADE20K 语义分割)上系统验证了 Core-KAN 的效果,并通过两项消融分析(连续核轨迹 Figure 4、插值保真度 Figure 5)证明:KAN 学到的不是 MMM 个离散查找表,而是一条连续可解释的核轨迹;支持点-插值在 M=8M=8M=8 时已经能在所有尺度分位上把相对 L2 误差压到 0.1 以下。
三、方法原理:公式、模块与设计抉择
3.1 总公式:把算子写成「尺度适应的响应 + 内容相关的混合」
Core-KAN 的输入和输出记为 X∈RB×Cin×H×WX∈R^{B×C_{in}×H×W}X∈RB×Cin×H×W 和 Y∈RB×Cout×Ho×WoY∈R^{B×C_{out}×H_{o}×W_o}Y∈RB×Cout×Ho×Wo。不直接对 XXX 做动态卷积,而是先用 1×1 卷积 PinP_{in}Pin 把 XXX 压到 NNN 维潜空间:
V=Pin(X),V∈RB×N×H×W,(1)V = P_{\text{in}}(X),\quad V \in \mathbb{R}^{B\times N\times H\times W},\tag{1}V=Pin(X),V∈RB×N×H×W,(1)
其中 N≪CinN≪C_{in}N≪Cin,默认 N=16N=16N=16。这一步是整套算子低秩化的入口:把 256 维输入压成 16 维 basis,等于让后续的动态变化发生在一个紧凑潜空间里。形式上与 LoRA 中「冻结主权重 WWW,附加低秩更新 BA」的思路同源。
接着,对每个样本 bbb、第 nnn 个 basis、每个输出位置 ppp,计算一个「尺度适应后的响应」R~b,n(p)R̃_{b,n}(p)R~b,n(p),再用「内容相关权重」mb(p,n)m_b(p,n)mb(p,n) 把它和 1×1 输出投影 PoutP_outPout 组合:
Yb,c(p)=∑n=1NWc,nout mb(p,n) R~b,n(p).(2)Y_{b,c}(p) = \sum_{n=1}^{N} W^{\text{out}}_{c,n}\, m_b(p,n)\, \tilde{R}_{b,n}(p). \tag{2}Yb,c(p)=n=1∑NWc,noutmb(p,n)R~b,n(p).(2)
式 (2) 的结构非常关键。把它从左往右读一遍:先用一个 simplex 权重 mb(p,n)m_b(p,n)mb(p,n) 决定「内容上应该让第 nnn 个 basis 占多大比例」;再用一个尺度适应的响应 R~b,n(p)R̃_{b,n}(p)R~b,n(p) 提供「在当前局部尺度下第 nnn 个 basis 长什么样」;最后用一个点向输出投影把 NNN 维潜空间映回 CoutC_{out }Cout维输出空间。论文里直接点出这条公式暴露了 Core-KAN 的两条互补控制通道:尺度分支改变每个 basis 响应的空间剖面,混合分支改变每个 basis 的内容相关贡献。两条通道彼此独立、互不抢占。
Figure 2:Core-KAN 整体架构(原论文 Figure 2)
这张总览图把 (1)(2) 背后的所有部件连成一条完整的数据通路。图的左侧是 Mixing Controller:它从同一张输入图出发,经若干卷积 + sigmoid 预测出位置级的 simplex 权重 (mp,1,...,mp,Nm_{p,1},...,m_{p,N}mp,1,...,mp,N),满足 Σnmp,n=1Σ_n m_{p,n}=1Σnmp,n=1;这些权重最后通过一个 Hadamard 乘到输出上。图的左下角是 Scale Controller 链:输入 → 3×3 conv → 预测 α(p)α(p)α(p)(被 sigmoid 限制到 [αmin,αmaxα_{min}, α_{max}αmin,αmax] = [0.5, 2.0]) → EMA 参考 μαμ_αμα(图中标注 EMA)→ 相对尺度 sj=αj/μαs_j = α_j/μ_αsj=αj/μα。下方中间是相对尺度支持点 s1,s2,...,sMs_1, s_2, ..., s_Ms1,s2,...,sM(MMM=8 个),它们与预定义的 2D 坐标网格 q=(qx,qy)∈[−1,1]2q=(q_x,q_y)∈[-1,1]²q=(qx,qy)∈[−1,1]2 通过 MatMul 相乘后进入 KAN Kernel Generator。KAN Kernel Generator 由两层带可学习 B-样条(learnable spline,参数 θ1,θ2,...,θNθ_1, θ_2, ..., θ_Nθ1,θ2,...,θN)的 KAN 层组成,输出 NNN 个连续核场 Φθ:R2→RNΦ_θ: R²→R^NΦθ:R2→RN。从这些连续场中按 MMM 个相对尺度各采样一次,得到 K∈RM×N×k×kK ∈ R^{M×N×k×k}K∈RM×N×k×k(即 MMM 组、每组 NNN 个 k×kk×kk×k 核)。这些核通过一个共享的 depthwise 卷积(DWConv)在 VVV 上作用,产生响应库 R∈RB×M×N×Ho×WoR ∈ R^{B×M×N×H_o×W_o}R∈RB×M×N×Ho×Wo。图中央标有「Scale Interpolation」的小鸟图组就是响应库的可视化:对位置 ppp 找到其相对尺度 s(p)s(p)s(p) 两侧的支持点 sj,sj+1s_j, s_{j+1}sj,sj+1,把两个支持点上的响应 Rj,n(p)R_{j,n}(p)Rj,n(p) 和 Rj+1,n(p)R_{j+1,n}(p)Rj+1,n(p) 用 1−λp1−λ_p1−λp 和 λpλ_pλp 加权插值,得到 R~n(p)R̃_n(p)R~n(p),然后再与 mixing 权重结合生成输出。图的下方还画出了 Scale Controller 和 Mixing Controller 各自的内部结构(两个 3×3 conv + GN + ReLU 加 1×1 预测层)。底部图例明确了 MatMul、Sigmoid、ReLU、Hadamard、Scale q、Predefined 等符号的语义。整张图的信息密度极高,几乎是论文方法学的一张索引图。
3.2 Scale Controller:从「绝对尺度」到「相对尺度」
尺度控制器 CαC_αCα 接收原始输入 X,输出一个逐位置、有界的标量 αb(p)∈[αmin,αmax]α_b(p)∈[α_{min}, α_{max}]αb(p)∈[αmin,αmax]:
α~b(p)=σ(Cα(Xb)(p)),αb(p)=αmin+(αmax−αmin) α~b(p).(3)\tilde{\alpha}_b(p) = \sigma(C_\alpha(X_b)(p)),\quad \alpha_b(p) = \alpha_{\min} + (\alpha_{\max}-\alpha_{\min})\,\tilde{\alpha}_b(p). \tag{3}α~b(p)=σ(Cα(Xb)(p)),αb(p)=αmin+(αmax−αmin)α~b(p).(3)
用 [αmin,αmaxα_min, α_maxαmin,αmax] = [0.5, 2.0] 这个区间,意味着每个位置最极端也只能把核「缩到一半」或「放大到两倍」。这一选择是刻意的:如果让尺度无界地自由预测,训练早期很容易出现 α=10、α=100α=10、α=100α=10、α=100 这类极端值,导致核轨迹剧烈跳变。把它限制在一个温和区间,相当于在优化空间里先画了一个安全圈。
但「绝对尺度」有一个隐藏的麻烦:不同层、不同训练阶段对「α=1.2α=1.2α=1.2」的理解不一样。同一张图在第一层可能纹理细腻、α=1.2α=1.2α=1.2 已经算「大核」;到了第五层,特征已经被多次下采样,α=1.2α=1.2α=1.2 可能反而是「小核」。因此给每个 Core-KAN 层维护一个不可学习的 EMA 参考 μαμ_αμα,并按
αˉ(t)=1BHW∑b∑pα(t)(p),μα(t)=clip [ρ μα(t−1)+(1−ρ) sg (αˉ(t)), [αmin,αmax]](4)\bar{\alpha}^{(t)} = \tfrac{1}{BHW}\sum_{b}\sum_{p}\alpha^{(t)}(p),\quad \mu_\alpha^{(t)} = \text{clip}\!\left[\rho\,\mu_\alpha^{(t-1)} + (1-\rho)\,\text{sg}\!\left(\bar{\alpha}^{(t)}\right),\ [\alpha_{\min},\alpha_{\max}]\right] \tag{4}αˉ(t)=BHW1b∑p∑α(t)(p),μα(t)=clip[ρμα(t−1)+(1−ρ)sg(αˉ(t)), [αmin,αmax]](4)
更新,其中 ρ=0.99ρ=0.99ρ=0.99 是动量,sg(⋅)sg(·)sg(⋅) 表示 stop-gradient(防止 EMA 被梯度反传影响)。在推理时 μαμ_αμα 固定。
有了这一参考,局部「相对尺度」定义为
sb(p)=αb(p)μα.(5)s_b(p) = \frac{\alpha_b(p)}{\mu_\alpha}. \tag{5}sb(p)=μααb(p).(5)
这个比值天然稳定:如果某层平均 ααα 漂移到 1.6,而当前像素预测 α=2.0α=2.0α=2.0,那 s=1.25s=1.25s=1.25 反映的就是「比该层平均大 25%」;换一层平均是 3.0、当前 α=3.5α=3.5α=3.5,sss 仍是 1.17。把「相对该层典型尺度」的信号送给 KAN,核轨迹才不会被训练过程中的尺度漂移牵着走。这一设计在精神上接近 BatchNorm 之于特征分布的处理方式:BatchNorm 解决的是「feature 分布跨层不一致」,这里解决的是「scale 分布跨层不一致」。
3.3 Mixing Controller:内容相关的 simplex 权重
尺度控制器回答「这个位置核应该长多大」,混合控制器回答「这个位置应该用哪些 basis、各占多少」。它同样由输入 XXX 驱动,但输出的是 NNN 维 simplex 分布:
mb(p,:)=softmax(Cm(Xb)(p)),∑n=1Nmb(p,n)=1.(6)m_b(p,:) = \text{softmax}(C_m(X_b)(p)),\quad \sum_{n=1}^{N} m_b(p,n) = 1. \tag{6}mb(p,:)=softmax(Cm(Xb)(p)),n=1∑Nmb(p,n)=1.(6)
形式上 mb(p,n)m_b(p,n)mb(p,n) 是一个 attention,但与标准 attention 不同的是:它只管「内容上选哪个 basis」,不会去管 basis 内部的几何形状。这种解耦的意义在直觉上很容易理解。人眼看一个物体时也是先粗略判断「这个东西大概多大、属于哪一类纹理(尺度)」,再决定「具体关注它的轮廓还是表面细节(内容)」。把这两步压进同一个 attention,等于逼着模型在一次前向里同时回答两个不同维度的提问,往往得到的是折中而不是最优。
3.4 KAN 参数化的连续核场:把核从「表」变成「函数」
假设 k×kk×kk×k 规则卷积网格的偏移集合为 G=δrr=1k2G = {δ_r}_{r=1}^{k²}G=δrr=1k2,把每个 δrδ_rδr 归一化到 qr=(qx,r,qy,r)∈[−1,1]2q_r=(q_{x,r}, q_{y,r})∈[-1,1]²qr=(qx,r,qy,r)∈[−1,1]2。Core-KAN 引入一个共享的 KAN 来实现坐标到核场的映射:
Φθ:R2→RN.(9)\Phi_\theta : \mathbb{R}^2 \rightarrow \mathbb{R}^N. \tag{9}Φθ:R2→RN.(9)
一个 LLL 层 KAN 的第 ℓℓℓ 层可以写为
zv(ℓ+1)=∑u=1dℓϕv,u(ℓ) (zu(ℓ)),z(0)=x,(10)z_v^{(\ell+1)} = \sum_{u=1}^{d_\ell} \phi_{v,u}^{(\ell)}\!\left(z_u^{(\ell)}\right),\quad z^{(0)} = x, \tag{10}zv(ℓ+1)=u=1∑dℓϕv,u(ℓ)(zu(ℓ)),z(0)=x,(10)
其中每条边上的 φv,u(ℓ)φ_{v,u}^{(ℓ)}φv,u(ℓ) 都是一个由 B-样条参数化的可学习一元函数。所有样条参数共同记为 θθθ。实现里 KAN 有 L=2 层,网格数 gridsize=7,spline order=3。KAN 与 MLP 的关键差异在「激活发生的位置」:MLP 的非线性作用在节点上、权重是固定标量;KAN 的非线性作用在边上、每条边都有自己的可学习一元函数。这一结构在 Core-KAN 里带来的好处有两个:其一,每个输入坐标对输出的影响可以通过对应边函数的形状直接读出(论文原话:each input coordinate’s effect on the output can be understood through the shape of its corresponding edge function),这使核演化具有可解释的几何意义;其二,因为 KAN 天然适合学「坐标到函数值」的映射,把 kernel 视为「q→权重q→权重q→权重」的连续函数就非常自然。
对某个相对尺度 sss,查询 KAN 在「scaled 坐标」sqr{s q_r}sqr 上的取值,并 reshape 成一个 k×kk×kk×k 核:
Gn(s)=reshapek×k ({[Φθ(sqr)]n}r=1k2).(11)G_n(s) = \text{reshape}_{k\times k}\!\left(\left\{[\Phi_\theta(s q_r)]_n\right\}_{r=1}^{k^2}\right). \tag{11}Gn(s)=reshapek×k({[Φθ(sqr)]n}r=1k2).(11)
为了稳定训练,再做一个 Kaiming 兼容的标准化:
Kn(s)=2 Gn(s)−mean(Gn(s))std(Gn(s))+ε.(12)K_n(s) = \sqrt{2}\,\frac{G_n(s) - \text{mean}(G_n(s))}{\text{std}(G_n(s)) + \varepsilon}. \tag{12}Kn(s)=2std(Gn(s))+εGn(s)−mean(Gn(s)).(12)
注意一个细节:没有把 sqsqsq 当作「缩放采样网格」来处理,而是把它当作「在连续核场上换一个查询坐标」来处理。这意味着 3×3 的采样网格永远没变,变的只是 KAN 在这张网格上返回的函数值。论文里把这一性质概括得极好:Varying s changes the coordinates queried from the continuous kernel field, and hence the kernel weights, but does not resize or deform the k×k sampling grid. 这是 Core-KAN 与大核卷积(31×31)和形变卷积(ΔpΔpΔp)的根本区别:网格不动,权重动。
3.5 Support-and-Interpolate:把 O(HW) 降回 O(M)
如果对每个位置都直接用 KAN 查询 K_n(s_b§),复杂度是 O(HW),对 224×224 的图就是 50176 次 KAN 查询,无法承受。Core-KAN 的解法是只在 MMM 个相对尺度支持点上做查询。把 M=8M=8M=8 个绝对支持点均匀放在 [αmin,αmaxα_{min}, α_{max}αmin,αmax] 内:
αj=αmin+j−1M−1(αmax−αmin),j=1,…,M,(7)\alpha_j = \alpha_{\min} + \tfrac{j-1}{M-1}(\alpha_{\max}-\alpha_{\min}),\quad j=1,\ldots,M, \tag{7}αj=αmin+M−1j−1(αmax−αmin),j=1,…,M,(7)
再用同一个 EMA 参考 μαμ_αμα 转换为相对支持点
sj=αj/μα.(8)s_j = \alpha_j / \mu_\alpha. \tag{8}sj=αj/μα.(8)
于是一组 MMM 个核就只需要 MMM 次 KAN 查询:
K={Kj,n=Kn(sj)}j=1,…,Mn=1,…,N∈RM×N×k×k.(13)\mathcal{K} = \{K_{j,n} = K_n(s_j)\}_{j=1,\ldots,M}^{n=1,\ldots,N} \in \mathbb{R}^{M\times N\times k\times k}. \tag{13}K={Kj,n=Kn(sj)}j=1,…,Mn=1,…,N∈RM×N×k×k.(13)
接下来,对投影到潜空间的特征 VVV,我们用每个支持核做一次共享的 depthwise 卷积,得到
Rb,j,n(p)=∑r=1k2Kj,n(δr) Vb,n(p+δr),(14)R_{b,j,n}(p) = \sum_{r=1}^{k^2} K_{j,n}(\delta_r)\, V_{b,n}(p+\delta_r), \tag{14}Rb,j,n(p)=r=1∑k2Kj,n(δr)Vb,n(p+δr),(14)
把所有 support 堆起来就是响应库
R∈RB×M×N×Ho×Wo.(15)R \in \mathbb{R}^{B\times M\times N\times H_o\times W_o}. \tag{15}R∈RB×M×N×Ho×Wo.(15)
这是一个很值得停下来思考的工程选择。RRR 沿着 MMM 这一维存储了 MMM 个「尺度切片」,每个切片是一个完整的 NNN 通道特征图。直观上这相当于「在尺度维度上多保留几份’如果用这个尺度会怎样’的预演」,而真正的「这个位置究竟应该用哪个尺度」由后续的插值决定。
对每个位置 ppp,设其相对尺度 sb(p)s_b(p)sb(p) 落在支持点 sjs_jsj 与 sj+1s_{j+1}sj+1 之间(即 αj≤αb(p)≤αj+1α_j ≤ α_b(p) ≤ α_{j+1}αj≤αb(p)≤αj+1),插值系数定义为
λb,p=αb(p)−αjαj+1−αj=sb(p)−sjsj+1−sj∈[0,1].(16)\lambda_{b,p} = \frac{\alpha_b(p) - \alpha_j}{\alpha_{j+1} - \alpha_j} = \frac{s_b(p) - s_j}{s_{j+1} - s_j} \in [0,1]. \tag{16}λb,p=αj+1−αjαb(p)−αj=sj+1−sjsb(p)−sj∈[0,1].(16)
两式相等是因为所有 ααα 与 sss 之间只差一个共同的 μαμ_αμα。再把两个相邻支持点上的响应按 λb,pλ_{b,p}λb,p 线性插值:
R~b,n(p)=(1−λb,p) Rb,j,n(p)+λb,p Rb,j+1,n(p).(17)\tilde{R}_{b,n}(p) = (1-\lambda_{b,p})\, R_{b,j,n}(p) + \lambda_{b,p}\, R_{b,j+1,n}(p). \tag{17}R~b,n(p)=(1−λb,p)Rb,j,n(p)+λb,pRb,j+1,n(p).(17)
落到区间外的值会被 clamp 到最近的边界;如果 sb(p)s_b(p)sb(p) 正好等于某个支持点,插值就退化成那个支持点的响应。
Figure 3:响应空间中的逐像素尺度插值(原论文 Figure 3)
![]()
图的上方是一条 1D 数轴,沿轴排布着 MMM 个支持尺度 s_1, s_2, …, s_j, s§, s_{j+1}, …, s_M;当前位置的相对尺度 s(p)s(p)s(p) 用红点标出,落在 sjs_jsj 和 sj+1s_{j+1}sj+1 之间。下方左侧和右侧分别是对应两个支持点的「响应图像」Rj,n(p)R_{j,n}(p)Rj,n(p) 和 Rj+1,n(p)R_{j+1,n}(p)Rj+1,n(p)(这里用同一只小鸟的边缘响应图作为可视化代表,nnn 索引被省略)。两条粗箭头分别从这两个响应出发,权重标为 1−λp1−λ_p1−λp 和 λpλ_pλp,汇聚到正下方的 R~n(p)R̃_n(p)R~n(p),即「用 s(p)s(p)s(p) 这个尺度所应该得到的响应」。红箭头从数轴上 s(p)s(p)s(p) 的红点直接指向 R~n(p)R̃_n(p)R~n(p),强调「当前位置的最终响应并不是新建的,而是由两个最相邻的支持点线性组合而来」。这张图同时回答了潜在读者最容易产生的两个疑问:第一,为什么要插值 response 而不是插值 kernel;第二,为什么可以放心插值 response。答案就是下一段要展开的「卷积对核是线性的」这件事。
3.6 为什么插值响应就等于插值核
很多读者读到式 (17) 时会本能地犹豫:把响应混在一起,语义上对吗?我们先写出「直接逐位置查询」会得到什么:
Rb,n∗(p)=∑r=1k2Kn(sb(p))(δr) Vb,n(p+δr).(18)R^*_{b,n}(p) = \sum_{r=1}^{k^2} K_n(s_b(p))(\delta_r)\, V_{b,n}(p+\delta_r). \tag{18}Rb,n∗(p)=r=1∑k2Kn(sb(p))(δr)Vb,n(p+δr).(18)
而式 (17) 等价于先用插值构造一个「局部核」
K~b,n,p=(1−λb,p) Kj,n+λb,p Kj+1,n,(19)\tilde{K}_{b,n,p} = (1-\lambda_{b,p})\, K_{j,n} + \lambda_{b,p}\, K_{j+1,n}, \tag{19}K~b,n,p=(1−λb,p)Kj,n+λb,pKj+1,n,(19)
再对它做一次 depthwise 卷积:
R~b,n(p)=∑r=1k2K~b,n,p(δr) Vb,n(p+δr).(20)\tilde{R}_{b,n}(p) = \sum_{r=1}^{k^2} \tilde{K}_{b,n,p}(\delta_r)\, V_{b,n}(p+\delta_r). \tag{20}R~b,n(p)=r=1∑k2K~b,n,p(δr)Vb,n(p+δr).(20)
式 (18) 和 (20) 的等价性依赖于卷积对核权重是线性这一基本事实:两个核 K1K_1K1、K2K_2K2 的凸组合作用于 XXX,等于两个核分别作用于 XXX 的凸组合。论文原文写得极简洁:Because convolution is linear in the kernel weights, Equation (17) is exactly equivalent to applying the interpolated local kernel. 这就是「在响应空间里插值」与「在核空间里插值」可以互换的数学根据。
这一等价性在工程上意义很大:我们可以把所有位置级核的「真正」生成推迟到「需要做卷积的时候」,但因为我们并不真的去生成 K~b,n,pK̃_{b,n,p}K~b,n,p(而是直接对预存的 RRR 做插值),于是省下了一份可观的 kernel tensor 内存和一次逐位置的 KAN 前向。
3.7 低秩动态卷积视角
把式 (1)、(20)、(2) 串起来,可以把 Core-KAN 的「有效核」显式写成一个三因子分解:
Wb,c,c′,peff(δ)=∑n=1NWc,nout mb(p,n) K~b,n,p(δ) Wn,c′in.(22)W^{\text{eff}}_{b,c,c',p}(\delta) = \sum_{n=1}^{N} W^{\text{out}}_{c,n}\, m_b(p,n)\, \tilde{K}_{b,n,p}(\delta)\, W^{\text{in}}_{n,c'}. \tag{22}Wb,c,c′,peff(δ)=n=1∑NWc,noutmb(p,n)K~b,n,p(δ)Wn,c′in.(22)
这正是论文把 Core-KAN 称为「low-rank dynamic convolution」的原因。把它与 LoRA 类比非常直观:LoRA 把一个大矩阵 WWW 的更新近似为 BA(r≪min(d1,d2)),其中 A、B 是点向投影。Core-KAN 把「完整的位置级动态卷积核 Wb(p)W_b(p)Wb(p)」近似为「点向输入投影 Win×位置级动态basis核K~×点向输出投影WoutW^{in} × 位置级动态 basis 核 K̃ × 点向输出投影 W^{out}Win×位置级动态basis核K~×点向输出投影Wout」,其中间维度 N=16≪CN=16≪CN=16≪C。中间的 K~K̃K~ 是「真正带位置/尺度信息的动态部分」,两侧的 Win、WoutW^{in}、W^{out}Win、Wout 是与位置无关、跨空间共享的静态部分。这一结构有两个推论。第一,静态投影把绝大部分通道混合负担承担下来,动态部分只需在 N 维潜空间里变化,因此计算和参数都大幅压缩。第二,式 (22) 与 mixture-of-experts 在形式上同源:mb(p,n)m_b(p,n)mb(p,n) 是 gate,K~b,n,pK̃_{b,n,p}K~b,n,p 是 expert,区别在于 expert 这里是「空间核模式」而不是「完整子网络」——更接近 kernel-level MoE。
3.8 KAN 真正贡献了什么:一个诚实回答
最后回到一个绕不开的诚实问题:把 KAN 换成 MLP、SIREN、Fourier Feature Network 或 RFF-Net,Core-KAN 还能成立吗?答案是「方法学上很可能成立」,理由是:Core-KAN 的核心是把核视为连续函数 Φθ(q,s)Φ_θ(q, s)Φθ(q,s),并通过支持点-插值降低调用次数;KAN 只是实现 ΦθΦ_θΦθ 的一种具体参数化。换 MLP 后,坐标-到-核的映射依然可学,连续性依然可由过参数化+正则维持。论文没有提供 KAN vs MLP 的消融,这是一个个人认为应当补上的实验缺口。但即便如此,KAN 仍有可辩护的工程理由:KAN 的边函数形式让每个输入维度对核演化的影响可以直接被读出,对 Figure 4 那类「可解释核轨迹」可视化更友好;而且在 N=16N=16N=16 这种低秩潜空间里,KAN 的参数效率也足以支撑。
四、实验结果:Core-KAN 在三个任务上是不是真的有效
我们围绕三个互相补充的视觉任务评估 Core-KAN:ImageNet-1K 图像分类(图像级理解)、COCO 2017 检测/实例分割(目标级定位)、ADE20K 语义分割(像素级预测)。这三条线分别检验 Core-KAN 在「整图 → 标签」「目标 → 框/掩码」「像素 → 类别」三种粒度上的有效性。
4.1 图像分类(ImageNet-1K,Table 1)
| 方法 | 参数量 (M) ↓ | Top-1 (%) ↑ | Top-5 (%) ↑ |
|---|---|---|---|
| ResNet-50 (CVPR’16) | 25.56 | 78.44 | 94.24 |
| DY-Conv (CVPR’20) | 100.88 | 79.00 | 94.27 |
| ODConv (ICLR’22) | 90.67 | 78.52 | 94.01 |
| SCConv (CVPR’23) | 17.69 | 79.89 | 94.76 |
| RefConv (TNNLS’25) | 36.97 | 79.91 | 94.61 |
| PartialNet (AAAI’26) | 18.00 | 80.61 | 95.13 |
| KernelWarehouse (ICML’24) | 102.02 | 81.05 | 95.21 |
| FDConv (CVPR’25) | 29.20 | 80.36 | 95.02 |
| Core-KAN (Ours) | 26.61 | 81.45 | 95.68 |
这张表真正值得划重点的不是「Top-1 又高了零点几」这种边际数字,而是「参数-精度的相对位置」。Core-KAN 以 26.61M 的参数量拿到 81.45% 的 Top-1 与 95.68% 的 Top-5,相对 ResNet-50 分别提升 3.84% 和 1.53%,参数量只增加 4.11%。和当前最强的动态卷积基线 KernelWarehouse 比,Core-KAN 在 Top-1/Top-5 上各领先 0.49% 和 0.47%,但参数量从 102.02M 降到 26.61M,参数减少 73.92%。换句话说,Core-KAN 用 KernelWarehouse 不到 1/4 的参数实现了更高的精度。
这个结果的解读需要小心。0.49% 的领先并不是「革命性」差距,它真正说明的是 Core-KAN 在「性能-效率」这条 Pareto 前沿上向前推了一截。论文标题里的「plug-and-play」也暗示了我们的定位:Core-KAN 想替代的是 Dynamic Conv 那一族,而不是去刷新 ImageNet 的 SOTA。从这个角度看,81.45% / 26.61M 是一个让人安心但不夸张的结果:它证明「把核视为连续函数 + 尺度/内容解耦 + 支持点插值」这条路径在分类任务上能站住脚。
需要客观指出的局限:Core-KAN 相比 FDConv(80.36% / 29.20M)有 +1.09% 的精度提升,但 FDConv 的频率分组思路是另一条完全不同的路径,Core-KAN 没有和它在「同条件同超参」下做过严格对照,不同的训练 recipe 会让跨表比较带有噪声。论文在 Table 1 注解里也提示了这一点(“Reported or reproduced training recipes differ across methods, so the table is intended as a reference comparison.”)。
4.2 目标检测与实例分割(COCO 2017,Table 2 & Table 3)
COCO 上的提升是 Core-KAN 最值得展示的舞台,因为目标级任务同时考验「位置感知」和「尺度感知」——这正是 Core-KAN 设计的主战场。
| 方法 | APboxAP^{box}APbox | APbox50AP^{box_{50}}APbox50 | APbox75AP^{box_{75}}APbox75 | APboxsAP^{box_{s}}APboxs | APboxMAP^{box_{M}}APboxM | APboxLAP^{box_{L}}APboxL | AP^mask | AP^mask_50 | AP^mask_75 | AP^mask_S | AP^mask_M | AP^mask_L |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| ResNet-50 | 37.9 | 58.7 | 41.2 | 21.6 | 41.5 | 49.3 | 34.5 | 55.6 | 36.8 | 15.9 | 37.1 | 50.4 |
| DY-Conv | 39.2 | 60.3 | 42.5 | 23.0 | 42.9 | 51.4 | 34.7 | 56.0 | 37.1 | 16.4 | 36.9 | 51.1 |
| ODConv | 40.1 | 61.5 | 43.6 | 24.0 | 43.6 | 52.3 | 36.7 | 58.5 | 39.6 | 18.6 | 39.0 | 52.8 |
| KernelWarehouse | 42.4 | 65.4 | 46.3 | 27.2 | 46.2 | 54.6 | 38.9 | 62.0 | 41.5 | 22.7 | 42.6 | 53.1 |
| FDConv | 42.5 | 64.8 | 46.2 | 26.4 | 47.0 | 54.9 | 38.3 | 61.8 | 41.0 | 19.6 | 42.4 | 54.3 |
| Core-KAN (Ours) | 43.0 | 65.1 | 47.0 | 27.1 | 47.1 | 55.8 | 39.5 | 62.1 | 42.4 | 20.5 | 42.8 | 57.2 |
表 2:Mask R-CNN + FPN,1× schedule(12 epochs)
| 方法 | AP^box | AP^box_50 | AP^box_75 | AP^box_S | AP^box_M | AP^box_L | AP^mask | AP^mask_50 | AP^mask_75 | AP^mask_S | AP^mask_M | AP^mask_L |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| ResNet-50 | 40.9 | 61.3 | 44.8 | 24.4 | 44.6 | 52.3 | 37.1 | 58.3 | 39.9 | 18.4 | 39.8 | 52.9 |
| DY-Conv | 41.9 | 63.0 | 45.7 | 25.8 | 45.6 | 53.8 | 36.9 | 58.5 | 39.7 | 18.8 | 39.4 | 53.2 |
| ODConv | 42.6 | 64.0 | 46.6 | 27.0 | 46.3 | 54.8 | 38.7 | 60.6 | 42.0 | 21.4 | 41.2 | 54.7 |
| KernelWarehouse | 45.6 | 67.5 | 49.8 | 29.8 | 49.4 | 59.0 | 41.5 | 63.0 | 44.8 | 24.2 | 43.9 | 58.5 |
| FDConv | 45.7 | 67.3 | 50.4 | 30.5 | 49.7 | 58.4 | 41.7 | 62.5 | 45.0 | 24.0 | 44.2 | 58.7 |
| Core-KAN (Ours) | 46.2 | 67.8 | 50.5 | 31.3 | 49.8 | 58.9 | 42.2 | 63.8 | 45.1 | 24.8 | 44.5 | 59.2 |
表 3:Mask R-CNN + FPN,3× schedule(36 epochs)
1× schedule 下,Core-KAN 把 AP^box 从 ResNet-50 的 37.9 推到 43.0(+5.1),把 AP^mask 从 34.5 推到 39.5(+5.0),相对改进分别达到 +13.46% 和 +14.49%。更有信息量的是分尺度增益:小目标(AP^box_S)相对 +25.46%,中目标 +13.49%,大目标 +13.18%;掩码的对应增益是 +28.93%、+15.36%、+13.49%。注意小目标的相对增益几乎是中/大目标的两倍——这与我们「局部尺度控制器应该对小目标最敏感」的预期高度一致:小目标在卷积早期往往被一个大尺度核「抹平」,而 Core-KAN 让核在那些像素处自动收缩到更锐利、更局部的轮廓。
3× schedule 下,Core-KAN 进一步把 AP^box 推到 46.2、AP^mask 推到 42.2。论文报告 Core-KAN 在 6 个 box 指标中 5 个第一、6 个 mask 指标全部第一,唯一例外是 AP^box_L 略低于 KernelWarehouse(58.9 vs 59.0,差 0.17%)。这一格局与 1× 高度一致,说明 Core-KAN 的优势在更长训练下没有饱和消失,而是稳定放大。
4.3 语义分割(ADE20K,Table 4)
| 方法 | 参数量 (M) ↓ | mIoU (%) ↑ | mAcc (%) ↑ |
|---|---|---|---|
| ResNet-50 | 66.00 | 40.00 | 49.61 |
| DY-Conv | 140.00 | 41.20 | 51.05 |
| ODConv | 131.00 | 42.36 | 52.51 |
| KernelWarehouse | 141.00 | 43.20 | 53.30 |
| FDConv | 70.00 | 43.50 | 53.63 |
| Core-KAN (Ours) | 68.50 | 44.19 | 54.38 |
ADE20K 的结果延续了「小参数、大提升」的格局。Core-KAN 用 68.50M 总参数(仅比 ResNet-50 多 3.79%)把 mIoU 从 40.00 推到 44.19(相对 +10.47%),mAcc 从 49.61 推到 54.38(相对 +9.61%)。相比当前最强对照 FDConv,Core-KAN 在 mIoU 和 mAcc 上分别 +1.59% 和 +1.40%,参数反而少 2.14%。语义分割对核的边界刻画能力要求极高(每一类边界往往是几像素级的细线),Core-KAN 在这里继续胜出,强化了「scale-controller 能在边界像素处自动把核收紧到更细粒度轮廓」这一假设。
4.4 验证连续核而非 8 个离散核:Figure 4
Figure 4:最后一层 Core-KAN block 中学到的 3×3 核的演化(原论文 Figure 4)
图 (a) 把 4 个 basis field(行 b2, b3, b4, b5)的 3×3 核权重热力图在 5 个相对尺度(α=0.50/s=0.64α=0.50/s=0.64α=0.50/s=0.64, 0.80/1.02, 1.25/1.59, 1.62/2.07, 2.00/2.55)上画出来。颜色编码从蓝(负权)到红(正权),色阶在 ±1 之间。仔细对比每一行可以发现:随着 sss 增大,核权重的符号和空间排布都在平滑变化——例如 b4 在 s=0.64s=0.64s=0.64 时是「中心强负」的中央抑制型,在 s=2.55s=2.55s=2.55 时变成「角点强正、四边强负」的角点检测型;但这种过渡是连续的,没有出现跳变。3×3 网格在所有尺度下保持不变——这正是 Core-KAN 与大核/形变卷积在视觉上的关键区别。图 (b) 是更宏观的证据:把每个 basis 在密集尺度查询下的核 flatten 后做 PCA 投影到 2D,得到 4 条 basis-specific 的彩色曲线,颜色按 sss 取值。曲线连续光滑、没有断裂或随机抖动,说明核场确实在 PCA 空间里沿着一条可解释的轨迹前进。图 © 画出相邻尺度查询之间核的相对 Frobenius 变化(横轴 sss、纵轴变化幅度),并叠加 b2/b3/b4/b5 的平均。变化最大的地方集中在 s≈1.1s≈1.1s≈1.1 和 s≈1.6s≈1.6s≈1.6 附近,说明「尺度变化的代价」是有的,但它分布平滑、不像离散专家切换那样会突跳。综合 (a)(b)© 三幅子图,它们一起回答了论文里那个最容易被误读为「KAN 只是 8 个 lookup table」的疑问:KAN 确实学到了连续可解释的核轨迹,而 M=8M=8M=8 只是我们采样的稀疏点。
4.5 验证 M=8M=8M=8 已经够用:Figure 5
Figure 5:基于支持点的插值与直接逐位置连续核评估的逼近保真度(原论文 Figure 5)
![]()
图 (a) 报告了输出相对 L2 误差在 ααα 的五个分位(Q1 到 Q5)上随支持点数 MMM 的变化。曲线 M=2M=2M=2 在所有分位都给出 0.4–0.9 的高误差;M=4M=4M=4 把误差压到 0.3–0.45;M=8M=8M=8 已经把误差稳定在 0.1 以下;M=16M=16M=16 与 M=8M=8M=8 几乎重合,只有在 Q3、Q4 上略低。这意味着在 [0.5, 2.0] 这个 [αmin,αmaxα_{min}, α_{max}αmin,αmax] 区间内,8 个均匀放置的支持点已经能在所有尺度分位上逼近「真正逐位置查询 KAN」的结果。图 (b) 把 M 沿横轴铺开,报告 mean、median、95th-percentile (P95) 三条曲线。可以看到从 M=2 到 M=8 的下降非常陡(mean 从 ~0.65 跌到 ~0.07,P95 从 ~1.35 跌到 ~0.16),而 M=8M=8M=8 到 M=16M=16M=16 几乎是一条平台期。这给了我们一个明确的工程拐点:再多支持点带来的精度收益迅速衰减,但响应库 RRR 的大小是 O(B⋅M⋅N⋅Ho⋅Wo)O(B·M·N·H_o·W_o)O(B⋅M⋅N⋅Ho⋅Wo),是 MMM 的线性函数。因此 M=8 是 Core-KAN 默认值——它在「响应库计算」与「插值误差」之间取了一个接近最优的折中。
4.6 三任务综合判断
把三个任务的提升幅度排成一行,我们能更清楚地看出 Core-KAN 的「甜区」。分类任务上 Top-1 提升 +3.01%(相对),提升幅度最小但这是因为 ImageNet 已经被研究得非常充分、骨干侧早已饱和;COCO 检测 / 分割相对提升均在 +13% 量级;ADE20K 分割相对提升 +10% 量级。换句话说,Core-KAN 的真正优势并不在于「让 ImageNet 又涨 1%」,而在于「让那些对位置/尺度敏感的密集预测任务稳定变好」。这条经验结论也回应了方法学设计:连续核场 + 尺度-内容解耦天然偏好「每个位置都需要不同感受方式」的下游任务。
五、批判性分析
学术研究的诚实之处在于:不仅要展示「做成了什么」,也要坦诚「还没回答什么」。下面六条是同样希望读者带着审视目光去追问的。
第一,KAN 真的比 MLP 好吗?Core-KAN 的连续核场 ΦθΦ_θΦθ 在数学上对实现方式没有强依赖——用一个两到三层的 MLP(甚至一个 SIREN / Fourier Feature MLP)也能学出 (q,s)(q, s)(q,s)→核的连续映射。论文没有提供 KAN vs MLP 的消融,因此「KAN 是关键」目前仍是一个合理但未充分验证的猜想。如果 KAN 的优势在 N=16N=16N=16 这种低秩潜空间里其实很微弱,那么 Core-KAN 的方法学贡献就应该被更准确地表述为「连续核场 + 尺度/内容解耦 + 支持点插值」,KAN 只是实现细节。
第二,相对尺度的语义可解释性尚未被充分展示。我们在 §3.2 论证了 s(p)=α(p)/μα比α(p)s(p)=α(p)/μ_α 比 α(p)s(p)=α(p)/μα比α(p) 更稳定,但 s(p)s(p)s(p) 是否真的「对应」局部目标尺度?这需要一张把 s(p)s(p)s(p) 可视化覆盖到原图上的图,让读者看到「小目标像素的 sss 偏低、大目标像素的 sss 偏高」之类的相关性。论文没提供这类可视化,因此「s(p)s(p)s(p) 真的学会了尺度感知」目前仍是一个理论假设。
第三,响应库的计算随 MMM 线性增长。论文自己也坦承这一限制:A remaining limitation is that the response-bank cost grows with the number of scale supports; reducing this cost without weakening interpolation fidelity is a useful direction for further work. 我们认为这正是 Core-KAN 在「亚毫秒级实时推理」场景下可能成为瓶颈的环节。一个有前景的改进方向是:把 MMM 个支持点上的 KAN 查询和 depthwise 卷积 fused 成一个共享 kernel bank,再用 M 个稀疏化的并行分支输出;或者让 α_j 在训练中按重要性自适应放置,而不是均匀放在 [αmin,αmaxα_{min}, α_{max}αmin,αmax]。
第四,论文目前只验证了 CNN 主干。Core-KAN 天然是一个「替换 3×3 深度卷积」的算子,因此它能否在 Swin / ConvNeXt / ViT 这类结构里同样受益,仍然是开放问题。KAN 与 Transformer 注意力结合的工作(KAT)已有先例,把 Core-KAN 嫁接到 ViT 的局部窗口或 ConvNeXt 的 depthwise conv 上是一个直接的延展方向。
第五,ααα 的区间 [0.5, 2.0] 是预设的还是被验证过的?论文在附录里讨论了消融,但区间端点被设为超参。如果一个数据集的目标尺度分布本身就极端(例如遥感大目标 + 细胞小目标),2.0 的上界可能不够。把 αmaxα_{max}αmax 与数据驱动的尺度分布绑定是一个值得探索的方向。
第六,N=16 是不是最优?低秩动态卷积的「秩」决定了静态投影与动态核之间的容量分配。论文没有扫 N 的影响,因此我们不知道 8、16、32 在不同任务上如何权衡。理论上 N 越大,basis 越细但响应库越大;N 越小,参数越省但 basis 难以覆盖复杂的视觉模式。
把这些放在一起看,Core-KAN 的当前形态最像一份「方法学框架的奠基论文」,它开辟了「局部条件化的连续核场 + 解耦双控 + 支持点插值」这条路径,但这条路径上的若干关键超参(KAN vs MLP、M、N、ααα 范围)的最佳取值还需要更系统的扫参与消融。
六、Core-KAN 在自适应卷积谱系里的位置
跳出这篇论文,我把 Core-KAN 放回整个自适应视觉算子谱系去理解,我可以用一张表把它的方法学坐标说清楚。
| 方法 | 核的表示形式 | 是否连续 | 是否逐位置 | 几何 / 内容是否解耦 | 代表工作 |
|---|---|---|---|---|---|
| 传统卷积 | K(离散表) | 否 | 否 | 不适用 | ResNet, ConvNeXt |
| 大核卷积 | K_large(离散表) | 否 | 否 | 不适用 | RepLKNet, SLaK |
| 动态 / 条件卷积 | K(x)=ΣaiKiK(x) = Σ a_i K_iK(x)=ΣaiKi | 否(离散专家) | 输入级而非位置级 | 否 | Dynamic Conv, CondConv, ODConv, KernelWarehouse, FDConv |
| 形变卷积 | K(p+Δp)K(p+Δp)K(p+Δp) | 否 | 是(采样层面) | 不适用 | DCN v1/v2, InternImage |
| 连续核卷积(layer-level) | Φ(q)Φ(q)Φ(q) | 是 | 否(layer 共享) | 不适用 | CKConv, FlexConv, PointConv, SMPConv |
| Involution / DDF | K(p)K(p)K(p)(每位置生成) | 否 | 是 | 否 | Involution, DDF |
| Core-KAN | Φθ(s(p)⋅q)Φ_θ(s(p)·q)Φθ(s(p)⋅q) + 内容混合 m(p,n)m(p,n)m(p,n) | 是 | 是(密集位置级) | 是 | 本论文 |
这张表里最容易被混淆的,是 Core-KAN 与「连续核卷积」和「动态卷积」两个邻居的边界。我们用三句话把差异钉死。
与 Dynamic / ODConv / KernelWarehouse / FDConv 的区别:这一族方法学上是「离散专家 + 路由 attention」。核是有限个、路由是同一个信号管两件事。Core-KAN 是「连续核场 + 双控制通道」。核是无穷个(一个连续场),且尺度/内容各自有自己的控制器。用一个生活化的类比:Dynamic Conv 像是「从菜单上几道菜里选一道」,Core-KAN 像是「根据食材现做一道菜,再决定配什么酱」。
与 CKConv / FlexConv / PointConv 的区别:这一族方法学上是「layer-level 连续核场」。同一层里所有位置共用一个 Φ(·)。Core-KAN 的关键升级是「dense location-wise」:核场被局部尺度 s§ 显式条件化,从而让 Φ 真正做到逐像素地变化。在工程上,这意味着 CKConv 适合做序列/点云的全局编码器,Core-KAN 适合做 2D 图像的局部特征提取。
与 Deformable Convolution 的区别:Deformable 改的是「在哪里采」,Core-KAN 改的是「采到的东西怎么组合」。前者擅长处理几何形变,后者擅长处理尺度/内容异质。两者在原理上正交,理论上甚至可以叠加(先在偏移后的网格上再做连续核插值),但本文没有探索这一组合,是一个明确的未来工作。
最后提一个跨学科的视角。Core-KAN 把核视为「坐标到权重的连续函数」这件事,与 Neural Field(神经场)领域把信号视为「坐标到颜色 / 密度 / SDF 的连续函数」是同一种思路:NeRF 学 (x,y,z)→color+density,Core-KAN 学 (q_x,q_y,s)→kernel weight。如果我们把「核」看作「视觉模式在局部坐标系下的连续场」,那么 Core-KAN 可以被视为把 Neural Field 思想搬进了 CNN 的卷积核内部。这一类比也提示了一条潜在的研究路径:把 implicit neural representation 里成熟的周期性激活、傅里叶特征位置编码、hash encoding 等工具移植到 KAN 内部的样条设计上,有可能进一步压低 N、提升表达力。
七、一句话总结
Core-KAN 的真正贡献不是「把 KAN 塞进 CNN」,而是把卷积核从「一张固定离散权重表」重新定义为「一个由 KAN 参数化、被局部相对尺度条件化、与内容混合机制解耦、并通过 M=8 个支持点上的响应插值来高效查询的连续坐标-到-核函数场」——它用一个低秩动态卷积的形式,把「几何尺度适应」与「内容相关选择」这两件原本被同一路由信号捆在一起的事彻底拆开,从而在 ImageNet-1K、COCO、ADE20K 三个任务上以远低于现有强基线的参数量取得了连续、密集、可解释的空间自适应能力。
附录:论文基础元信息与默认超参
| 项 | 值 | 来源 |
|---|---|---|
| arXiv ID | 2608.19817v1 | 论文第 1 页 |
| 任务覆盖 | 分类 / 检测 / 实例分割 / 语义分割 | §Experiments |
| 空间核大小 k | 3 | §Experimental Setup |
| 潜空间维度 N | 16 | §Experimental Setup |
| 尺度支持点 M | 8 | §Experimental Setup |
| 绝对尺度范围 [α_min, α_max] | [0.5, 2.0] | §Experimental Setup |
| EMA 动量 ρ | 0.99 | §Experimental Setup |
| 控制器隐藏宽度 | 32 | §Experimental Setup |
| KAN 深度 / gridsize / spline order | 2 层 / 7 / 3 | §Experimental Setup |
| 图像分类训练 | 300 epochs, AdamW, batch 4096, lr 4×10⁻³, 20 warmup, cosine | §Experimental Setup |
| COCO 训练 schedule | 1× (12 ep) / 3× (36 ep) | §Experimental Setup |
| ADE20K 训练迭代 | 160K | §Experimental Setup |


391



被折叠的 条评论
为什么被折叠?



