Core-KAN 深度解读:用 Kolmogorov–Arnold Network 重新参数化卷积核

【企业知识助手·Agent 实战】如何构建 Agent 运行态可观测体系:从行为基线漂移检测到成本预算治理的深度实战 核心原理:运行态可观测的本质是把"单点阈值"升级为"与基线的分布距离"——埋点回答发生了什么,基线比较回答这是否还正常关键结论:deny 率没有单向好坏语义,必须双边告警 + known-good / known-bad 双哨兵仲裁;成本归因的终点是单位经济与预算三线一位;评测分数入库让质量拥有趋势线。 阅读详情

论文:Lan Guo, Mengling Li, Haoran Li, Jun Shen, Yuanbo Jiang, Qingguo Zhou, Binbin Yong*. Core-KAN: Continuous Vision Kernels with Kolmogorov–Arnold Networks. arXiv:2608.19817v1, 2026.

作者单位:兰州大学信息科学与工程学院 / 莫纳什大学数据科学与人工智能系 / 伍伦贡大学计算与信息技术学院


一句话摘要

我们认为,自适应卷积长期面临的根本矛盾是「适应性越强,参数与计算越爆炸」。Core-KAN 通过把深度卷积核从一张「固定离散权重表」升级为一个由 KAN 参数化的「连续坐标-到-核函数场 Φθ:R2→RNΦ_θ: R²→R^NΦθ​:R2→RN」,再用一个相对尺度控制器和一个内容混合控制器分别控制核的「几何形状」与「内容选择」,并用 M=8 个尺度支持点上的响应插值代替逐位置核生成,最终在三个视觉任务上以远低于 KernelWarehouse 等强基线的参数量取得最优或可比精度。


一、这篇论文想要解决的问题

视觉表征的一个基本动作是局部聚合(local aggregation)。在过去的十年里,卷积几乎是这一动作的唯一合理选择:一个 3×3 的小核在空间上滑动、共享权重,因而天然具备平移等变性、参数高效性与局部归纳偏置。这些性质正是 CNN 能成为视觉骨干网络的原因。然而,正是让卷积高效的那一条性质——「所有位置共用同一个固定离散核」——也同时锁死了它的表达能力。一张街景里,远处一辆小汽车、近处一块车牌、天空的背景纹理、树叶的细碎边缘,都被迫使用同一组 9 个权重。论文原文直接点出这一点:

Conventional convolutional kernels are typically defined on fixed discrete grids, limiting their ability to accommodate heterogeneous local structures.

围绕「如何让卷积核更适应局部结构」这条主线,过去几年形成了三股并行的努力,但每一股都只解决了一部分。

第一股是「大核 / 多尺度核」。代表性工作包括 Selective Kernel Network、RepLKNet、UniRepLKNet、MoreConvNets、ConvNeXt、SLaK、Strip R-CNN 等。它们的做法是扩大感受野,让一个 3×3 核变成 31×51 甚至更大的核,从而捕获更广的上下文。然而,这些核在训练结束后依然是「一张固定大小的离散权重表」:所有位置仍共享同一组参数。它们回答了「kernel 应该看多大」,但没有回答「kernel 在不同位置应该长什么样」。

第二股是「动态 / 条件卷积」。Dynamic Convolution、CondConv、WeightNet、ODConv、KernelWarehouse、FDConv 等都属于这一类。它们让卷积核由输入决定:对一张猫的图像生成与猫相关的核,对一辆汽车生成与汽车相关的核;其形式可以统一写成

K(x)=∑iai(x) Ki, K(x) = \sum_{i} a_i(x)\,K_i, K(x)=i∑​ai​(x)Ki​,

即一组专家核 Ki{K_i}Ki​ 配合一个输入依赖的注意力 ai(x){a_i(x)}ai​(x)。这一类方法确实显著提升了模型对内容的适应性,但本质上是一套「离散专家选择 + 离散路由」机制:核空间是有限的几个点,路由信号是一个标量权重。这带来了两个深层的限制。其一,真实视觉世界的尺度变化是连续的——同一辆汽车从远处到近处,核应该沿一条连续轨迹过渡,而不是在几个专家之间跳变;离散专家体系无法表达这条轨迹。其二,也是更关键的,这些方法把「核选什么」和「核长什么样」两件事用同一个路由信号耦合在一起:当某个位置的核变大时,模型其实分不清这是因为「目标尺度变大」还是「内容纹理变复杂」。可解释性和表达效率都因此受损。

第三股是「形变卷积」。Deformable Convolution v1/v2、DCN、InternImage、EffDeform 等方法从采样端入手:不去改权重,而是让网络预测每个位置的偏移 ΔpΔpΔp,把采样的网格从 p+δp+δp+δ 改成 p+δ+Δpp+δ+Δpp+δ+Δp。这一招在物体几何形状不规则、网格采样点应当被「挪到」目标边缘附近时非常有效。但 Core-KAN 走的是一条不同的路:**保持规则卷积网格不动,去改变核函数本身在这张网格上的取值。**论文的原文是 Core-KAN follows a different principle. It keeps the regular convolutional grid intact and adapts the kernel function evaluated on that grid. 用一句话对比,Deformable Conv 是「移动眼睛」,Core-KAN 是「不移动眼睛,但改变眼睛看到的组合方式」。

第四股,也是与 Core-KAN 血缘最近的一股,是「连续核卷积」。CKConv、FlexConv、SMPConv、Deep Parametric Continuous CNN、PointConv 等工作都把核从离散权重表视为坐标到权重的连续函数 K(x,y)K(x,y)K(x,y),并用 MLP / 核网络去近似这一函数,从而在点云、时间序列、变长感受野上得到非常紧凑的表示。但这些方法通常学的是「layer-level 或全局共享」的一个连续核场:同一层内所有位置共用同一个 K(⋅)K(·)K(⋅)。它们擅长参数压缩,但并没有为「位置级(dense location-wise)的核适配」而设计。

于是,当我们把整个卷积算子的进化排成一行:

代际核的表示解决什么留下什么
固定卷积离散权重 KKK效率 / 等变缺乏适应性
大核 / 多尺度更大的离散 KKK感受野仍然位置共享
动态 / 条件卷积K(x)=ΣaiKiK(x) = Σ a_i K_iK(x)=Σai​Ki​内容适应离散专家、尺度-内容耦合
形变卷积K(p+Δp)K(p+Δp)K(p+Δp)几何适应改采样而非改核
连续核卷积K(q)K(q)K(q) 连续函数连续表示通常全局共享
Core-KAN(本文)Φθ(s(p)⋅q)Φ_θ(s(p)·q)Φθ​(s(p)⋅q) 局部条件化的连续核场几何尺度 + 内容组合解耦、密集位置级适配响应库随 MMM 增长

可以看到,Core-KAN 处在「连续核卷积」与「动态卷积」的交叉点,但又比两者都更进一步:它把「全局连续的核」升级为「由局部相对尺度条件化、且与内容混合机制解耦的密集位置级连续核场」。

我们的核心观察是:空间自适应其实由两个本质不同的决策组成。第一个是几何决策——局部应该使用一个更锐利、更宽广、还是不同形状的核轮廓;第二个是内容决策——给定的局部视觉证据应该激活哪几种潜在核模式(边缘 / 纹理 / 颜色 / 结构)的组合。已有动态核方法往往把这两个决策绑进同一个路由信号,而 Core-KAN 把它们显式拆开,分别交给两个轻量控制器。这一拆解,是整篇论文的方法学心脏。

Figure 1:传统卷积与 Core-KAN 的概念对比(原论文 Figure 1)

Figure 1

图 (a) 描绘的是我们熟知的传统卷积:输入特征图上有一个绿色的「位置」框,箭头指向一个 3×3 的 position-shared discrete kernel,这个核在整张输入上滑动并产生输出特征图。所有位置共用同一组权重。

图 (b) 描绘的是 Core-KAN:输入同时被送入一个 Scale Controller(尺度控制器)和一个 Mixing Controller(内容混合控制器)。Scale Controller 输出一个密集的局部尺度场,该场驱动一个 KAN Layer(带火焰标记表示它是可学习的一次样条函数族 ΦθΦ_θΦθ​),从而在 R2R²R2 上产生 NNN 个连续核场(continuous kernel field)。Mixing Controller 则按位置给这 NNN 个 basis 分配 simplex 权重,把它们组合成最终输出。两路控制彼此独立,从而在保持规则采样网格的同时,让核函数随位置连续变化。这张图正是整篇论文「不挪网格、改核函数」思想的可视化。


二、核心贡献

把上面那段动机翻译成可落地的技术贡献,论文给出三个明确主张。

第一,提出 Core-KAN:一个由相对尺度条件化、由 KAN 参数化的连续卷积算子。它的核心结构是 KAN 把一个二维连续坐标 q∈[−1,1]2q∈[-1,1]²q∈[−1,1]2 映射到 NNN 维向量 Φθ(q)∈RNΦ_θ(q)∈R^NΦθ​(q)∈RN,每一维对应一个「核基」场;再把局部预测的相对尺度 s(p)s(p)s(p) 乘到 qqq 上作为查询坐标 sqsqsq,从而让核函数在「位置 × 尺度」这个二维空间里被连续查询。这与既有「全局连续核」工作的本质差异是:Core-KAN 的核场是「密集位置级条件化」的,而不是 layer-level 共享的。

第二,设计了一个支持点-插值(support-and-interpolate)读取机制,配合解耦的双控制器。这条机制是 Core-KAN 真正能落地、不爆炸的关键。它先在 M=8M=8M=8 个相对尺度支持点 sj{s_j}sj​ 上各查询一次 KAN,得到 8 组固定大小的核;再用一个轻量 depthwise 卷积生成一个「响应库」R∈RB×M×N×Ho×WoR∈R^{B×M×N×H_o×W_o}R∈RB×M×N×Ho​×Wo​;最后对每个位置 ppp,根据其预测的 s(p)s(p)s(p) 在两个相邻支持点之间做一次线性插值,从而把 MMM 个固定查询的结果扩展为位置级的连续响应。整个过程把「每位置生成一个核」的复杂度 O(HW)O(HW)O(HW) 降回到「每尺度生成一个核」的 O(M)O(M)O(M)。同时,scale controller 与 mixing controller 各管一摊:前者管「核的几何形状随尺度怎么变」,后者管「这些 basis 响应按内容怎么混」。两者的解耦既提升了可解释性,也避免了动态卷积里常见的「路由信号既要选专家又要选几何」的负担。

第三,在三个具有代表性的视觉任务(ImageNet-1K 分类、COCO 检测/实例分割、ADE20K 语义分割)上系统验证了 Core-KAN 的效果,并通过两项消融分析(连续核轨迹 Figure 4、插值保真度 Figure 5)证明:KAN 学到的不是 MMM 个离散查找表,而是一条连续可解释的核轨迹;支持点-插值在 M=8M=8M=8 时已经能在所有尺度分位上把相对 L2 误差压到 0.1 以下。


三、方法原理:公式、模块与设计抉择

3.1 总公式:把算子写成「尺度适应的响应 + 内容相关的混合」

Core-KAN 的输入和输出记为 X∈RB×Cin×H×WX∈R^{B×C_{in}×H×W}X∈RB×Cin​×H×W 和 Y∈RB×Cout×Ho×WoY∈R^{B×C_{out}×H_{o}×W_o}Y∈RB×Cout​×Ho​×Wo​。不直接对 XXX 做动态卷积,而是先用 1×1 卷积 PinP_{in}Pin​ 把 XXX 压到 NNN 维潜空间:

V=Pin(X),V∈RB×N×H×W,(1)V = P_{\text{in}}(X),\quad V \in \mathbb{R}^{B\times N\times H\times W},\tag{1}V=Pin​(X),V∈RB×N×H×W,(1)

其中 N≪CinN≪C_{in}N≪Cin​,默认 N=16N=16N=16。这一步是整套算子低秩化的入口:把 256 维输入压成 16 维 basis,等于让后续的动态变化发生在一个紧凑潜空间里。形式上与 LoRA 中「冻结主权重 WWW,附加低秩更新 BA」的思路同源。

接着,对每个样本 bbb、第 nnn 个 basis、每个输出位置 ppp,计算一个「尺度适应后的响应」R~b,n(p)R̃_{b,n}(p)R~b,n​(p),再用「内容相关权重」mb(p,n)m_b(p,n)mb​(p,n) 把它和 1×1 输出投影 PoutP_outPo​ut 组合:

Yb,c(p)=∑n=1NWc,nout mb(p,n) R~b,n(p).(2)Y_{b,c}(p) = \sum_{n=1}^{N} W^{\text{out}}_{c,n}\, m_b(p,n)\, \tilde{R}_{b,n}(p). \tag{2}Yb,c​(p)=n=1∑N​Wc,nout​mb​(p,n)R~b,n​(p).(2)

式 (2) 的结构非常关键。把它从左往右读一遍:先用一个 simplex 权重 mb(p,n)m_b(p,n)mb​(p,n) 决定「内容上应该让第 nnn 个 basis 占多大比例」;再用一个尺度适应的响应 R~b,n(p)R̃_{b,n}(p)R~b,n​(p) 提供「在当前局部尺度下第 nnn 个 basis 长什么样」;最后用一个点向输出投影把 NNN 维潜空间映回 CoutC_{out }Cout​维输出空间。论文里直接点出这条公式暴露了 Core-KAN 的两条互补控制通道:尺度分支改变每个 basis 响应的空间剖面,混合分支改变每个 basis 的内容相关贡献。两条通道彼此独立、互不抢占。

Figure 2:Core-KAN 整体架构(原论文 Figure 2)

Figure 2

这张总览图把 (1)(2) 背后的所有部件连成一条完整的数据通路。图的左侧是 Mixing Controller:它从同一张输入图出发,经若干卷积 + sigmoid 预测出位置级的 simplex 权重 (mp,1,...,mp,Nm_{p,1},...,m_{p,N}mp,1​,...,mp,N​),满足 Σnmp,n=1Σ_n m_{p,n}=1Σn​mp,n​=1;这些权重最后通过一个 Hadamard 乘到输出上。图的左下角是 Scale Controller 链:输入 → 3×3 conv → 预测 α(p)α(p)α(p)(被 sigmoid 限制到 [αmin,αmaxα_{min}, α_{max}αmin​,αmax​] = [0.5, 2.0]) → EMA 参考 μαμ_αμα​(图中标注 EMA)→ 相对尺度 sj=αj/μαs_j = α_j/μ_αsj​=αj​/μα​。下方中间是相对尺度支持点 s1,s2,...,sMs_1, s_2, ..., s_Ms1​,s2​,...,sM​(MMM=8 个),它们与预定义的 2D 坐标网格 q=(qx,qy)∈[−1,1]2q=(q_x,q_y)∈[-1,1]²q=(qx​,qy​)∈[−1,1]2 通过 MatMul 相乘后进入 KAN Kernel Generator。KAN Kernel Generator 由两层带可学习 B-样条(learnable spline,参数 θ1,θ2,...,θNθ_1, θ_2, ..., θ_Nθ1​,θ2​,...,θN​)的 KAN 层组成,输出 NNN 个连续核场 Φθ:R2→RNΦ_θ: R²→R^NΦθ​:R2→RN。从这些连续场中按 MMM 个相对尺度各采样一次,得到 K∈RM×N×k×kK ∈ R^{M×N×k×k}K∈RM×N×k×k(即 MMM 组、每组 NNN 个 k×kk×kk×k 核)。这些核通过一个共享的 depthwise 卷积(DWConv)在 VVV 上作用,产生响应库 R∈RB×M×N×Ho×WoR ∈ R^{B×M×N×H_o×W_o}R∈RB×M×N×Ho​×Wo​。图中央标有「Scale Interpolation」的小鸟图组就是响应库的可视化:对位置 ppp 找到其相对尺度 s(p)s(p)s(p) 两侧的支持点 sj,sj+1s_j, s_{j+1}sj​,sj+1​,把两个支持点上的响应 Rj,n(p)R_{j,n}(p)Rj,n​(p) 和 Rj+1,n(p)R_{j+1,n}(p)Rj+1,n​(p) 用 1−λp1−λ_p1−λp​ 和 λpλ_pλp​ 加权插值,得到 R~n(p)R̃_n(p)R~n​(p),然后再与 mixing 权重结合生成输出。图的下方还画出了 Scale Controller 和 Mixing Controller 各自的内部结构(两个 3×3 conv + GN + ReLU 加 1×1 预测层)。底部图例明确了 MatMul、Sigmoid、ReLU、Hadamard、Scale q、Predefined 等符号的语义。整张图的信息密度极高,几乎是论文方法学的一张索引图。

3.2 Scale Controller:从「绝对尺度」到「相对尺度」

尺度控制器 CαC_αCα​ 接收原始输入 X,输出一个逐位置、有界的标量 αb(p)∈[αmin,αmax]α_b(p)∈[α_{min}, α_{max}]αb​(p)∈[αmin​,αmax​]:

α~b(p)=σ(Cα(Xb)(p)),αb(p)=αmin⁡+(αmax⁡−αmin⁡) α~b(p).(3)\tilde{\alpha}_b(p) = \sigma(C_\alpha(X_b)(p)),\quad \alpha_b(p) = \alpha_{\min} + (\alpha_{\max}-\alpha_{\min})\,\tilde{\alpha}_b(p). \tag{3}α~b​(p)=σ(Cα​(Xb​)(p)),αb​(p)=αmin​+(αmax​−αmin​)α~b​(p).(3)

用 [αmin,αmaxα_min, α_maxαm​in,αm​ax] = [0.5, 2.0] 这个区间,意味着每个位置最极端也只能把核「缩到一半」或「放大到两倍」。这一选择是刻意的:如果让尺度无界地自由预测,训练早期很容易出现 α=10、α=100α=10、α=100α=10、α=100 这类极端值,导致核轨迹剧烈跳变。把它限制在一个温和区间,相当于在优化空间里先画了一个安全圈。

但「绝对尺度」有一个隐藏的麻烦:不同层、不同训练阶段对「α=1.2α=1.2α=1.2」的理解不一样。同一张图在第一层可能纹理细腻、α=1.2α=1.2α=1.2 已经算「大核」;到了第五层,特征已经被多次下采样,α=1.2α=1.2α=1.2 可能反而是「小核」。因此给每个 Core-KAN 层维护一个不可学习的 EMA 参考 μαμ_αμα​,并按

αˉ(t)=1BHW∑b∑pα(t)(p),μα(t)=clip ⁣[ρ μα(t−1)+(1−ρ) sg ⁣(αˉ(t)), [αmin⁡,αmax⁡]](4)\bar{\alpha}^{(t)} = \tfrac{1}{BHW}\sum_{b}\sum_{p}\alpha^{(t)}(p),\quad \mu_\alpha^{(t)} = \text{clip}\!\left[\rho\,\mu_\alpha^{(t-1)} + (1-\rho)\,\text{sg}\!\left(\bar{\alpha}^{(t)}\right),\ [\alpha_{\min},\alpha_{\max}]\right] \tag{4}αˉ(t)=BHW1​b∑​p∑​α(t)(p),μα(t)​=clip[ρμα(t−1)​+(1−ρ)sg(αˉ(t)), [αmin​,αmax​]](4)

更新,其中 ρ=0.99ρ=0.99ρ=0.99 是动量,sg(⋅)sg(·)sg(⋅) 表示 stop-gradient(防止 EMA 被梯度反传影响)。在推理时 μαμ_αμα​ 固定。

有了这一参考,局部「相对尺度」定义为

sb(p)=αb(p)μα.(5)s_b(p) = \frac{\alpha_b(p)}{\mu_\alpha}. \tag{5}sb​(p)=μα​αb​(p)​.(5)

这个比值天然稳定:如果某层平均 ααα 漂移到 1.6,而当前像素预测 α=2.0α=2.0α=2.0,那 s=1.25s=1.25s=1.25 反映的就是「比该层平均大 25%」;换一层平均是 3.0、当前 α=3.5α=3.5α=3.5,sss 仍是 1.17。把「相对该层典型尺度」的信号送给 KAN,核轨迹才不会被训练过程中的尺度漂移牵着走。这一设计在精神上接近 BatchNorm 之于特征分布的处理方式:BatchNorm 解决的是「feature 分布跨层不一致」,这里解决的是「scale 分布跨层不一致」。

3.3 Mixing Controller:内容相关的 simplex 权重

尺度控制器回答「这个位置核应该长多大」,混合控制器回答「这个位置应该用哪些 basis、各占多少」。它同样由输入 XXX 驱动,但输出的是 NNN 维 simplex 分布:

mb(p,:)=softmax(Cm(Xb)(p)),∑n=1Nmb(p,n)=1.(6)m_b(p,:) = \text{softmax}(C_m(X_b)(p)),\quad \sum_{n=1}^{N} m_b(p,n) = 1. \tag{6}mb​(p,:)=softmax(Cm​(Xb​)(p)),n=1∑N​mb​(p,n)=1.(6)

形式上 mb(p,n)m_b(p,n)mb​(p,n) 是一个 attention,但与标准 attention 不同的是:它只管「内容上选哪个 basis」,不会去管 basis 内部的几何形状。这种解耦的意义在直觉上很容易理解。人眼看一个物体时也是先粗略判断「这个东西大概多大、属于哪一类纹理(尺度)」,再决定「具体关注它的轮廓还是表面细节(内容)」。把这两步压进同一个 attention,等于逼着模型在一次前向里同时回答两个不同维度的提问,往往得到的是折中而不是最优。

3.4 KAN 参数化的连续核场:把核从「表」变成「函数」

假设 k×kk×kk×k 规则卷积网格的偏移集合为 G=δrr=1k2G = {δ_r}_{r=1}^{k²}G=δr​r=1k2​,把每个 δrδ_rδr​ 归一化到 qr=(qx,r,qy,r)∈[−1,1]2q_r=(q_{x,r}, q_{y,r})∈[-1,1]²qr​=(qx,r​,qy,r​)∈[−1,1]2。Core-KAN 引入一个共享的 KAN 来实现坐标到核场的映射:

Φθ:R2→RN.(9)\Phi_\theta : \mathbb{R}^2 \rightarrow \mathbb{R}^N. \tag{9}Φθ​:R2→RN.(9)

一个 LLL 层 KAN 的第 ℓℓℓ 层可以写为

zv(ℓ+1)=∑u=1dℓϕv,u(ℓ) ⁣(zu(ℓ)),z(0)=x,(10)z_v^{(\ell+1)} = \sum_{u=1}^{d_\ell} \phi_{v,u}^{(\ell)}\!\left(z_u^{(\ell)}\right),\quad z^{(0)} = x, \tag{10}zv(ℓ+1)​=u=1∑dℓ​​ϕv,u(ℓ)​(zu(ℓ)​),z(0)=x,(10)

其中每条边上的 φv,u(ℓ)φ_{v,u}^{(ℓ)}φv,u(ℓ)​ 都是一个由 B-样条参数化的可学习一元函数。所有样条参数共同记为 θθθ。实现里 KAN 有 L=2 层,网格数 gridsize=7,spline order=3。KAN 与 MLP 的关键差异在「激活发生的位置」:MLP 的非线性作用在节点上、权重是固定标量;KAN 的非线性作用在边上、每条边都有自己的可学习一元函数。这一结构在 Core-KAN 里带来的好处有两个:其一,每个输入坐标对输出的影响可以通过对应边函数的形状直接读出(论文原话:each input coordinate’s effect on the output can be understood through the shape of its corresponding edge function),这使核演化具有可解释的几何意义;其二,因为 KAN 天然适合学「坐标到函数值」的映射,把 kernel 视为「q→权重q→权重q→权重」的连续函数就非常自然。

对某个相对尺度 sss,查询 KAN 在「scaled 坐标」sqr{s q_r}sqr​ 上的取值,并 reshape 成一个 k×kk×kk×k 核:

Gn(s)=reshapek×k ⁣({[Φθ(sqr)]n}r=1k2).(11)G_n(s) = \text{reshape}_{k\times k}\!\left(\left\{[\Phi_\theta(s q_r)]_n\right\}_{r=1}^{k^2}\right). \tag{11}Gn​(s)=reshapek×k​({[Φθ​(sqr​)]n​}r=1k2​).(11)

为了稳定训练,再做一个 Kaiming 兼容的标准化:

Kn(s)=2 Gn(s)−mean(Gn(s))std(Gn(s))+ε.(12)K_n(s) = \sqrt{2}\,\frac{G_n(s) - \text{mean}(G_n(s))}{\text{std}(G_n(s)) + \varepsilon}. \tag{12}Kn​(s)=2​std(Gn​(s))+εGn​(s)−mean(Gn​(s))​.(12)

注意一个细节:没有把 sqsqsq 当作「缩放采样网格」来处理,而是把它当作「在连续核场上换一个查询坐标」来处理。这意味着 3×3 的采样网格永远没变,变的只是 KAN 在这张网格上返回的函数值。论文里把这一性质概括得极好:Varying s changes the coordinates queried from the continuous kernel field, and hence the kernel weights, but does not resize or deform the k×k sampling grid. 这是 Core-KAN 与大核卷积(31×31)和形变卷积(ΔpΔpΔp)的根本区别:网格不动,权重动。

3.5 Support-and-Interpolate:把 O(HW) 降回 O(M)

如果对每个位置都直接用 KAN 查询 K_n(s_b§),复杂度是 O(HW),对 224×224 的图就是 50176 次 KAN 查询,无法承受。Core-KAN 的解法是只在 MMM 个相对尺度支持点上做查询。把 M=8M=8M=8 个绝对支持点均匀放在 [αmin,αmaxα_{min}, α_{max}αmin​,αmax​] 内:

αj=αmin⁡+j−1M−1(αmax⁡−αmin⁡),j=1,…,M,(7)\alpha_j = \alpha_{\min} + \tfrac{j-1}{M-1}(\alpha_{\max}-\alpha_{\min}),\quad j=1,\ldots,M, \tag{7}αj​=αmin​+M−1j−1​(αmax​−αmin​),j=1,…,M,(7)

再用同一个 EMA 参考 μαμ_αμα​ 转换为相对支持点

sj=αj/μα.(8)s_j = \alpha_j / \mu_\alpha. \tag{8}sj​=αj​/μα​.(8)

于是一组 MMM 个核就只需要 MMM 次 KAN 查询:

K={Kj,n=Kn(sj)}j=1,…,Mn=1,…,N∈RM×N×k×k.(13)\mathcal{K} = \{K_{j,n} = K_n(s_j)\}_{j=1,\ldots,M}^{n=1,\ldots,N} \in \mathbb{R}^{M\times N\times k\times k}. \tag{13}K={Kj,n​=Kn​(sj​)}j=1,…,Mn=1,…,N​∈RM×N×k×k.(13)

接下来,对投影到潜空间的特征 VVV,我们用每个支持核做一次共享的 depthwise 卷积,得到

Rb,j,n(p)=∑r=1k2Kj,n(δr) Vb,n(p+δr),(14)R_{b,j,n}(p) = \sum_{r=1}^{k^2} K_{j,n}(\delta_r)\, V_{b,n}(p+\delta_r), \tag{14}Rb,j,n​(p)=r=1∑k2​Kj,n​(δr​)Vb,n​(p+δr​),(14)

把所有 support 堆起来就是响应库

R∈RB×M×N×Ho×Wo.(15)R \in \mathbb{R}^{B\times M\times N\times H_o\times W_o}. \tag{15}R∈RB×M×N×Ho​×Wo​.(15)

这是一个很值得停下来思考的工程选择。RRR 沿着 MMM 这一维存储了 MMM 个「尺度切片」,每个切片是一个完整的 NNN 通道特征图。直观上这相当于「在尺度维度上多保留几份’如果用这个尺度会怎样’的预演」,而真正的「这个位置究竟应该用哪个尺度」由后续的插值决定。

对每个位置 ppp,设其相对尺度 sb(p)s_b(p)sb​(p) 落在支持点 sjs_jsj​ 与 sj+1s_{j+1}sj+1​ 之间(即 αj≤αb(p)≤αj+1α_j ≤ α_b(p) ≤ α_{j+1}αj​≤αb​(p)≤αj+1​),插值系数定义为

λb,p=αb(p)−αjαj+1−αj=sb(p)−sjsj+1−sj∈[0,1].(16)\lambda_{b,p} = \frac{\alpha_b(p) - \alpha_j}{\alpha_{j+1} - \alpha_j} = \frac{s_b(p) - s_j}{s_{j+1} - s_j} \in [0,1]. \tag{16}λb,p​=αj+1​−αj​αb​(p)−αj​​=sj+1​−sj​sb​(p)−sj​​∈[0,1].(16)

两式相等是因为所有 ααα 与 sss 之间只差一个共同的 μαμ_αμα​。再把两个相邻支持点上的响应按 λb,pλ_{b,p}λb,p​ 线性插值:

R~b,n(p)=(1−λb,p) Rb,j,n(p)+λb,p Rb,j+1,n(p).(17)\tilde{R}_{b,n}(p) = (1-\lambda_{b,p})\, R_{b,j,n}(p) + \lambda_{b,p}\, R_{b,j+1,n}(p). \tag{17}R~b,n​(p)=(1−λb,p​)Rb,j,n​(p)+λb,p​Rb,j+1,n​(p).(17)

落到区间外的值会被 clamp 到最近的边界;如果 sb(p)s_b(p)sb​(p) 正好等于某个支持点,插值就退化成那个支持点的响应。

Figure 3:响应空间中的逐像素尺度插值(原论文 Figure 3)

Figure 3

图的上方是一条 1D 数轴,沿轴排布着 MMM 个支持尺度 s_1, s_2, …, s_j, s§, s_{j+1}, …, s_M;当前位置的相对尺度 s(p)s(p)s(p) 用红点标出,落在 sjs_jsj​ 和 sj+1s_{j+1}sj+1​ 之间。下方左侧和右侧分别是对应两个支持点的「响应图像」Rj,n(p)R_{j,n}(p)Rj,n​(p) 和 Rj+1,n(p)R_{j+1,n}(p)Rj+1,n​(p)(这里用同一只小鸟的边缘响应图作为可视化代表,nnn 索引被省略)。两条粗箭头分别从这两个响应出发,权重标为 1−λp1−λ_p1−λp​ 和 λpλ_pλp​,汇聚到正下方的 R~n(p)R̃_n(p)R~n​(p),即「用 s(p)s(p)s(p) 这个尺度所应该得到的响应」。红箭头从数轴上 s(p)s(p)s(p) 的红点直接指向 R~n(p)R̃_n(p)R~n​(p),强调「当前位置的最终响应并不是新建的,而是由两个最相邻的支持点线性组合而来」。这张图同时回答了潜在读者最容易产生的两个疑问:第一,为什么要插值 response 而不是插值 kernel;第二,为什么可以放心插值 response。答案就是下一段要展开的「卷积对核是线性的」这件事。

3.6 为什么插值响应就等于插值核

很多读者读到式 (17) 时会本能地犹豫:把响应混在一起,语义上对吗?我们先写出「直接逐位置查询」会得到什么:

Rb,n∗(p)=∑r=1k2Kn(sb(p))(δr) Vb,n(p+δr).(18)R^*_{b,n}(p) = \sum_{r=1}^{k^2} K_n(s_b(p))(\delta_r)\, V_{b,n}(p+\delta_r). \tag{18}Rb,n∗​(p)=r=1∑k2​Kn​(sb​(p))(δr​)Vb,n​(p+δr​).(18)

而式 (17) 等价于先用插值构造一个「局部核」

K~b,n,p=(1−λb,p) Kj,n+λb,p Kj+1,n,(19)\tilde{K}_{b,n,p} = (1-\lambda_{b,p})\, K_{j,n} + \lambda_{b,p}\, K_{j+1,n}, \tag{19}K~b,n,p​=(1−λb,p​)Kj,n​+λb,p​Kj+1,n​,(19)

再对它做一次 depthwise 卷积:

R~b,n(p)=∑r=1k2K~b,n,p(δr) Vb,n(p+δr).(20)\tilde{R}_{b,n}(p) = \sum_{r=1}^{k^2} \tilde{K}_{b,n,p}(\delta_r)\, V_{b,n}(p+\delta_r). \tag{20}R~b,n​(p)=r=1∑k2​K~b,n,p​(δr​)Vb,n​(p+δr​).(20)

式 (18) 和 (20) 的等价性依赖于卷积对核权重是线性这一基本事实:两个核 K1K_1K1​、K2K_2K2​ 的凸组合作用于 XXX,等于两个核分别作用于 XXX 的凸组合。论文原文写得极简洁:Because convolution is linear in the kernel weights, Equation (17) is exactly equivalent to applying the interpolated local kernel. 这就是「在响应空间里插值」与「在核空间里插值」可以互换的数学根据。

这一等价性在工程上意义很大:我们可以把所有位置级核的「真正」生成推迟到「需要做卷积的时候」,但因为我们并不真的去生成 K~b,n,pK̃_{b,n,p}K~b,n,p​(而是直接对预存的 RRR 做插值),于是省下了一份可观的 kernel tensor 内存和一次逐位置的 KAN 前向。

3.7 低秩动态卷积视角

把式 (1)、(20)、(2) 串起来,可以把 Core-KAN 的「有效核」显式写成一个三因子分解:

Wb,c,c′,peff(δ)=∑n=1NWc,nout mb(p,n) K~b,n,p(δ) Wn,c′in.(22)W^{\text{eff}}_{b,c,c',p}(\delta) = \sum_{n=1}^{N} W^{\text{out}}_{c,n}\, m_b(p,n)\, \tilde{K}_{b,n,p}(\delta)\, W^{\text{in}}_{n,c'}. \tag{22}Wb,c,c′,peff​(δ)=n=1∑N​Wc,nout​mb​(p,n)K~b,n,p​(δ)Wn,c′in​.(22)

这正是论文把 Core-KAN 称为「low-rank dynamic convolution」的原因。把它与 LoRA 类比非常直观:LoRA 把一个大矩阵 WWW 的更新近似为 BA(r≪min(d1,d2)),其中 A、B 是点向投影。Core-KAN 把「完整的位置级动态卷积核 Wb(p)W_b(p)Wb​(p)」近似为「点向输入投影 Win×位置级动态basis核K~×点向输出投影WoutW^{in} × 位置级动态 basis 核 K̃ × 点向输出投影 W^{out}Win×位置级动态basis核K~×点向输出投影Wout」,其中间维度 N=16≪CN=16≪CN=16≪C。中间的 K~K̃K~ 是「真正带位置/尺度信息的动态部分」,两侧的 Win、WoutW^{in}、W^{out}Win、Wout 是与位置无关、跨空间共享的静态部分。这一结构有两个推论。第一,静态投影把绝大部分通道混合负担承担下来,动态部分只需在 N 维潜空间里变化,因此计算和参数都大幅压缩。第二,式 (22) 与 mixture-of-experts 在形式上同源:mb(p,n)m_b(p,n)mb​(p,n) 是 gate,K~b,n,pK̃_{b,n,p}K~b,n,p​ 是 expert,区别在于 expert 这里是「空间核模式」而不是「完整子网络」——更接近 kernel-level MoE。

3.8 KAN 真正贡献了什么:一个诚实回答

最后回到一个绕不开的诚实问题:把 KAN 换成 MLP、SIREN、Fourier Feature Network 或 RFF-Net,Core-KAN 还能成立吗?答案是「方法学上很可能成立」,理由是:Core-KAN 的核心是把核视为连续函数 Φθ(q,s)Φ_θ(q, s)Φθ​(q,s),并通过支持点-插值降低调用次数;KAN 只是实现 ΦθΦ_θΦθ​ 的一种具体参数化。换 MLP 后,坐标-到-核的映射依然可学,连续性依然可由过参数化+正则维持。论文没有提供 KAN vs MLP 的消融,这是一个个人认为应当补上的实验缺口。但即便如此,KAN 仍有可辩护的工程理由:KAN 的边函数形式让每个输入维度对核演化的影响可以直接被读出,对 Figure 4 那类「可解释核轨迹」可视化更友好;而且在 N=16N=16N=16 这种低秩潜空间里,KAN 的参数效率也足以支撑。


四、实验结果:Core-KAN 在三个任务上是不是真的有效

我们围绕三个互相补充的视觉任务评估 Core-KAN:ImageNet-1K 图像分类(图像级理解)、COCO 2017 检测/实例分割(目标级定位)、ADE20K 语义分割(像素级预测)。这三条线分别检验 Core-KAN 在「整图 → 标签」「目标 → 框/掩码」「像素 → 类别」三种粒度上的有效性。

4.1 图像分类(ImageNet-1K,Table 1)

方法参数量 (M) ↓Top-1 (%) ↑Top-5 (%) ↑
ResNet-50 (CVPR’16)25.5678.4494.24
DY-Conv (CVPR’20)100.8879.0094.27
ODConv (ICLR’22)90.6778.5294.01
SCConv (CVPR’23)17.6979.8994.76
RefConv (TNNLS’25)36.9779.9194.61
PartialNet (AAAI’26)18.0080.6195.13
KernelWarehouse (ICML’24)102.0281.0595.21
FDConv (CVPR’25)29.2080.3695.02
Core-KAN (Ours)26.6181.4595.68

这张表真正值得划重点的不是「Top-1 又高了零点几」这种边际数字,而是「参数-精度的相对位置」。Core-KAN 以 26.61M 的参数量拿到 81.45% 的 Top-1 与 95.68% 的 Top-5,相对 ResNet-50 分别提升 3.84% 和 1.53%,参数量只增加 4.11%。和当前最强的动态卷积基线 KernelWarehouse 比,Core-KAN 在 Top-1/Top-5 上各领先 0.49% 和 0.47%,但参数量从 102.02M 降到 26.61M,参数减少 73.92%。换句话说,Core-KAN 用 KernelWarehouse 不到 1/4 的参数实现了更高的精度。

这个结果的解读需要小心。0.49% 的领先并不是「革命性」差距,它真正说明的是 Core-KAN 在「性能-效率」这条 Pareto 前沿上向前推了一截。论文标题里的「plug-and-play」也暗示了我们的定位:Core-KAN 想替代的是 Dynamic Conv 那一族,而不是去刷新 ImageNet 的 SOTA。从这个角度看,81.45% / 26.61M 是一个让人安心但不夸张的结果:它证明「把核视为连续函数 + 尺度/内容解耦 + 支持点插值」这条路径在分类任务上能站住脚。

需要客观指出的局限:Core-KAN 相比 FDConv(80.36% / 29.20M)有 +1.09% 的精度提升,但 FDConv 的频率分组思路是另一条完全不同的路径,Core-KAN 没有和它在「同条件同超参」下做过严格对照,不同的训练 recipe 会让跨表比较带有噪声。论文在 Table 1 注解里也提示了这一点(“Reported or reproduced training recipes differ across methods, so the table is intended as a reference comparison.”)。

4.2 目标检测与实例分割(COCO 2017,Table 2 & Table 3)

COCO 上的提升是 Core-KAN 最值得展示的舞台,因为目标级任务同时考验「位置感知」和「尺度感知」——这正是 Core-KAN 设计的主战场。

方法APboxAP^{box}APboxAPbox50AP^{box_{50}}APbox50​APbox75AP^{box_{75}}APbox75​APboxsAP^{box_{s}}APboxs​APboxMAP^{box_{M}}APboxM​APboxLAP^{box_{L}}APboxL​AP^maskAP^mask_50AP^mask_75AP^mask_SAP^mask_MAP^mask_L
ResNet-5037.958.741.221.641.549.334.555.636.815.937.150.4
DY-Conv39.260.342.523.042.951.434.756.037.116.436.951.1
ODConv40.161.543.624.043.652.336.758.539.618.639.052.8
KernelWarehouse42.465.446.327.246.254.638.962.041.522.742.653.1
FDConv42.564.846.226.447.054.938.361.841.019.642.454.3
Core-KAN (Ours)43.065.147.027.147.155.839.562.142.420.542.857.2

表 2:Mask R-CNN + FPN,1× schedule(12 epochs)

方法AP^boxAP^box_50AP^box_75AP^box_SAP^box_MAP^box_LAP^maskAP^mask_50AP^mask_75AP^mask_SAP^mask_MAP^mask_L
ResNet-5040.961.344.824.444.652.337.158.339.918.439.852.9
DY-Conv41.963.045.725.845.653.836.958.539.718.839.453.2
ODConv42.664.046.627.046.354.838.760.642.021.441.254.7
KernelWarehouse45.667.549.829.849.459.041.563.044.824.243.958.5
FDConv45.767.350.430.549.758.441.762.545.024.044.258.7
Core-KAN (Ours)46.267.850.531.349.858.942.263.845.124.844.559.2

表 3:Mask R-CNN + FPN,3× schedule(36 epochs)

1× schedule 下,Core-KAN 把 AP^box 从 ResNet-50 的 37.9 推到 43.0(+5.1),把 AP^mask 从 34.5 推到 39.5(+5.0),相对改进分别达到 +13.46% 和 +14.49%。更有信息量的是分尺度增益:小目标(AP^box_S)相对 +25.46%,中目标 +13.49%,大目标 +13.18%;掩码的对应增益是 +28.93%、+15.36%、+13.49%。注意小目标的相对增益几乎是中/大目标的两倍——这与我们「局部尺度控制器应该对小目标最敏感」的预期高度一致:小目标在卷积早期往往被一个大尺度核「抹平」,而 Core-KAN 让核在那些像素处自动收缩到更锐利、更局部的轮廓。

3× schedule 下,Core-KAN 进一步把 AP^box 推到 46.2、AP^mask 推到 42.2。论文报告 Core-KAN 在 6 个 box 指标中 5 个第一、6 个 mask 指标全部第一,唯一例外是 AP^box_L 略低于 KernelWarehouse(58.9 vs 59.0,差 0.17%)。这一格局与 1× 高度一致,说明 Core-KAN 的优势在更长训练下没有饱和消失,而是稳定放大。

4.3 语义分割(ADE20K,Table 4)

方法参数量 (M) ↓mIoU (%) ↑mAcc (%) ↑
ResNet-5066.0040.0049.61
DY-Conv140.0041.2051.05
ODConv131.0042.3652.51
KernelWarehouse141.0043.2053.30
FDConv70.0043.5053.63
Core-KAN (Ours)68.5044.1954.38

ADE20K 的结果延续了「小参数、大提升」的格局。Core-KAN 用 68.50M 总参数(仅比 ResNet-50 多 3.79%)把 mIoU 从 40.00 推到 44.19(相对 +10.47%),mAcc 从 49.61 推到 54.38(相对 +9.61%)。相比当前最强对照 FDConv,Core-KAN 在 mIoU 和 mAcc 上分别 +1.59% 和 +1.40%,参数反而少 2.14%。语义分割对核的边界刻画能力要求极高(每一类边界往往是几像素级的细线),Core-KAN 在这里继续胜出,强化了「scale-controller 能在边界像素处自动把核收紧到更细粒度轮廓」这一假设。

4.4 验证连续核而非 8 个离散核:Figure 4

Figure 4:最后一层 Core-KAN block 中学到的 3×3 核的演化(原论文 Figure 4)

Figure 4

图 (a) 把 4 个 basis field(行 b2, b3, b4, b5)的 3×3 核权重热力图在 5 个相对尺度(α=0.50/s=0.64α=0.50/s=0.64α=0.50/s=0.64, 0.80/1.02, 1.25/1.59, 1.62/2.07, 2.00/2.55)上画出来。颜色编码从蓝(负权)到红(正权),色阶在 ±1 之间。仔细对比每一行可以发现:随着 sss 增大,核权重的符号和空间排布都在平滑变化——例如 b4 在 s=0.64s=0.64s=0.64 时是「中心强负」的中央抑制型,在 s=2.55s=2.55s=2.55 时变成「角点强正、四边强负」的角点检测型;但这种过渡是连续的,没有出现跳变。3×3 网格在所有尺度下保持不变——这正是 Core-KAN 与大核/形变卷积在视觉上的关键区别。图 (b) 是更宏观的证据:把每个 basis 在密集尺度查询下的核 flatten 后做 PCA 投影到 2D,得到 4 条 basis-specific 的彩色曲线,颜色按 sss 取值。曲线连续光滑、没有断裂或随机抖动,说明核场确实在 PCA 空间里沿着一条可解释的轨迹前进。图 © 画出相邻尺度查询之间核的相对 Frobenius 变化(横轴 sss、纵轴变化幅度),并叠加 b2/b3/b4/b5 的平均。变化最大的地方集中在 s≈1.1s≈1.1s≈1.1 和 s≈1.6s≈1.6s≈1.6 附近,说明「尺度变化的代价」是有的,但它分布平滑、不像离散专家切换那样会突跳。综合 (a)(b)© 三幅子图,它们一起回答了论文里那个最容易被误读为「KAN 只是 8 个 lookup table」的疑问:KAN 确实学到了连续可解释的核轨迹,而 M=8M=8M=8 只是我们采样的稀疏点。

4.5 验证 M=8M=8M=8 已经够用:Figure 5

Figure 5:基于支持点的插值与直接逐位置连续核评估的逼近保真度(原论文 Figure 5)

Figure 5

图 (a) 报告了输出相对 L2 误差在 ααα 的五个分位(Q1 到 Q5)上随支持点数 MMM 的变化。曲线 M=2M=2M=2 在所有分位都给出 0.4–0.9 的高误差;M=4M=4M=4 把误差压到 0.3–0.45;M=8M=8M=8 已经把误差稳定在 0.1 以下;M=16M=16M=16 与 M=8M=8M=8 几乎重合,只有在 Q3、Q4 上略低。这意味着在 [0.5, 2.0] 这个 [αmin,αmaxα_{min}, α_{max}αmin​,αmax​] 区间内,8 个均匀放置的支持点已经能在所有尺度分位上逼近「真正逐位置查询 KAN」的结果。图 (b) 把 M 沿横轴铺开,报告 mean、median、95th-percentile (P95) 三条曲线。可以看到从 M=2 到 M=8 的下降非常陡(mean 从 ~0.65 跌到 ~0.07,P95 从 ~1.35 跌到 ~0.16),而 M=8M=8M=8 到 M=16M=16M=16 几乎是一条平台期。这给了我们一个明确的工程拐点:再多支持点带来的精度收益迅速衰减,但响应库 RRR 的大小是 O(B⋅M⋅N⋅Ho⋅Wo)O(B·M·N·H_o·W_o)O(B⋅M⋅N⋅Ho​⋅Wo​),是 MMM 的线性函数。因此 M=8 是 Core-KAN 默认值——它在「响应库计算」与「插值误差」之间取了一个接近最优的折中。

4.6 三任务综合判断

把三个任务的提升幅度排成一行,我们能更清楚地看出 Core-KAN 的「甜区」。分类任务上 Top-1 提升 +3.01%(相对),提升幅度最小但这是因为 ImageNet 已经被研究得非常充分、骨干侧早已饱和;COCO 检测 / 分割相对提升均在 +13% 量级;ADE20K 分割相对提升 +10% 量级。换句话说,Core-KAN 的真正优势并不在于「让 ImageNet 又涨 1%」,而在于「让那些对位置/尺度敏感的密集预测任务稳定变好」。这条经验结论也回应了方法学设计:连续核场 + 尺度-内容解耦天然偏好「每个位置都需要不同感受方式」的下游任务。


五、批判性分析

学术研究的诚实之处在于:不仅要展示「做成了什么」,也要坦诚「还没回答什么」。下面六条是同样希望读者带着审视目光去追问的。

第一,KAN 真的比 MLP 好吗?Core-KAN 的连续核场 ΦθΦ_θΦθ​ 在数学上对实现方式没有强依赖——用一个两到三层的 MLP(甚至一个 SIREN / Fourier Feature MLP)也能学出 (q,s)(q, s)(q,s)→核的连续映射。论文没有提供 KAN vs MLP 的消融,因此「KAN 是关键」目前仍是一个合理但未充分验证的猜想。如果 KAN 的优势在 N=16N=16N=16 这种低秩潜空间里其实很微弱,那么 Core-KAN 的方法学贡献就应该被更准确地表述为「连续核场 + 尺度/内容解耦 + 支持点插值」,KAN 只是实现细节。

第二,相对尺度的语义可解释性尚未被充分展示。我们在 §3.2 论证了 s(p)=α(p)/μα比α(p)s(p)=α(p)/μ_α 比 α(p)s(p)=α(p)/μα​比α(p) 更稳定,但 s(p)s(p)s(p) 是否真的「对应」局部目标尺度?这需要一张把 s(p)s(p)s(p) 可视化覆盖到原图上的图,让读者看到「小目标像素的 sss 偏低、大目标像素的 sss 偏高」之类的相关性。论文没提供这类可视化,因此「s(p)s(p)s(p) 真的学会了尺度感知」目前仍是一个理论假设。

第三,响应库的计算随 MMM 线性增长。论文自己也坦承这一限制:A remaining limitation is that the response-bank cost grows with the number of scale supports; reducing this cost without weakening interpolation fidelity is a useful direction for further work. 我们认为这正是 Core-KAN 在「亚毫秒级实时推理」场景下可能成为瓶颈的环节。一个有前景的改进方向是:把 MMM 个支持点上的 KAN 查询和 depthwise 卷积 fused 成一个共享 kernel bank,再用 M 个稀疏化的并行分支输出;或者让 α_j 在训练中按重要性自适应放置,而不是均匀放在 [αmin,αmaxα_{min}, α_{max}αmin​,αmax​]。

第四,论文目前只验证了 CNN 主干。Core-KAN 天然是一个「替换 3×3 深度卷积」的算子,因此它能否在 Swin / ConvNeXt / ViT 这类结构里同样受益,仍然是开放问题。KAN 与 Transformer 注意力结合的工作(KAT)已有先例,把 Core-KAN 嫁接到 ViT 的局部窗口或 ConvNeXt 的 depthwise conv 上是一个直接的延展方向。

第五,ααα 的区间 [0.5, 2.0] 是预设的还是被验证过的?论文在附录里讨论了消融,但区间端点被设为超参。如果一个数据集的目标尺度分布本身就极端(例如遥感大目标 + 细胞小目标),2.0 的上界可能不够。把 αmaxα_{max}αmax​ 与数据驱动的尺度分布绑定是一个值得探索的方向。

第六,N=16 是不是最优?低秩动态卷积的「秩」决定了静态投影与动态核之间的容量分配。论文没有扫 N 的影响,因此我们不知道 8、16、32 在不同任务上如何权衡。理论上 N 越大,basis 越细但响应库越大;N 越小,参数越省但 basis 难以覆盖复杂的视觉模式。

把这些放在一起看,Core-KAN 的当前形态最像一份「方法学框架的奠基论文」,它开辟了「局部条件化的连续核场 + 解耦双控 + 支持点插值」这条路径,但这条路径上的若干关键超参(KAN vs MLP、M、N、ααα 范围)的最佳取值还需要更系统的扫参与消融。


六、Core-KAN 在自适应卷积谱系里的位置

跳出这篇论文,我把 Core-KAN 放回整个自适应视觉算子谱系去理解,我可以用一张表把它的方法学坐标说清楚。

方法核的表示形式是否连续是否逐位置几何 / 内容是否解耦代表工作
传统卷积K(离散表)否否不适用ResNet, ConvNeXt
大核卷积K_large(离散表)否否不适用RepLKNet, SLaK
动态 / 条件卷积K(x)=ΣaiKiK(x) = Σ a_i K_iK(x)=Σai​Ki​否(离散专家)输入级而非位置级否Dynamic Conv, CondConv, ODConv, KernelWarehouse, FDConv
形变卷积K(p+Δp)K(p+Δp)K(p+Δp)否是(采样层面)不适用DCN v1/v2, InternImage
连续核卷积(layer-level)Φ(q)Φ(q)Φ(q)是否(layer 共享)不适用CKConv, FlexConv, PointConv, SMPConv
Involution / DDFK(p)K(p)K(p)(每位置生成)否是否Involution, DDF
Core-KANΦθ(s(p)⋅q)Φ_θ(s(p)·q)Φθ​(s(p)⋅q) + 内容混合 m(p,n)m(p,n)m(p,n)是是(密集位置级)是本论文

这张表里最容易被混淆的,是 Core-KAN 与「连续核卷积」和「动态卷积」两个邻居的边界。我们用三句话把差异钉死。

与 Dynamic / ODConv / KernelWarehouse / FDConv 的区别:这一族方法学上是「离散专家 + 路由 attention」。核是有限个、路由是同一个信号管两件事。Core-KAN 是「连续核场 + 双控制通道」。核是无穷个(一个连续场),且尺度/内容各自有自己的控制器。用一个生活化的类比:Dynamic Conv 像是「从菜单上几道菜里选一道」,Core-KAN 像是「根据食材现做一道菜,再决定配什么酱」。

与 CKConv / FlexConv / PointConv 的区别:这一族方法学上是「layer-level 连续核场」。同一层里所有位置共用一个 Φ(·)。Core-KAN 的关键升级是「dense location-wise」:核场被局部尺度 s§ 显式条件化,从而让 Φ 真正做到逐像素地变化。在工程上,这意味着 CKConv 适合做序列/点云的全局编码器,Core-KAN 适合做 2D 图像的局部特征提取。

与 Deformable Convolution 的区别:Deformable 改的是「在哪里采」,Core-KAN 改的是「采到的东西怎么组合」。前者擅长处理几何形变,后者擅长处理尺度/内容异质。两者在原理上正交,理论上甚至可以叠加(先在偏移后的网格上再做连续核插值),但本文没有探索这一组合,是一个明确的未来工作。

最后提一个跨学科的视角。Core-KAN 把核视为「坐标到权重的连续函数」这件事,与 Neural Field(神经场)领域把信号视为「坐标到颜色 / 密度 / SDF 的连续函数」是同一种思路:NeRF 学 (x,y,z)→color+density,Core-KAN 学 (q_x,q_y,s)→kernel weight。如果我们把「核」看作「视觉模式在局部坐标系下的连续场」,那么 Core-KAN 可以被视为把 Neural Field 思想搬进了 CNN 的卷积核内部。这一类比也提示了一条潜在的研究路径:把 implicit neural representation 里成熟的周期性激活、傅里叶特征位置编码、hash encoding 等工具移植到 KAN 内部的样条设计上,有可能进一步压低 N、提升表达力。


七、一句话总结

Core-KAN 的真正贡献不是「把 KAN 塞进 CNN」,而是把卷积核从「一张固定离散权重表」重新定义为「一个由 KAN 参数化、被局部相对尺度条件化、与内容混合机制解耦、并通过 M=8 个支持点上的响应插值来高效查询的连续坐标-到-核函数场」——它用一个低秩动态卷积的形式,把「几何尺度适应」与「内容相关选择」这两件原本被同一路由信号捆在一起的事彻底拆开,从而在 ImageNet-1K、COCO、ADE20K 三个任务上以远低于现有强基线的参数量取得了连续、密集、可解释的空间自适应能力。


附录:论文基础元信息与默认超参

项值来源
arXiv ID2608.19817v1论文第 1 页
任务覆盖分类 / 检测 / 实例分割 / 语义分割§Experiments
空间核大小 k3§Experimental Setup
潜空间维度 N16§Experimental Setup
尺度支持点 M8§Experimental Setup
绝对尺度范围 [α_min, α_max][0.5, 2.0]§Experimental Setup
EMA 动量 ρ0.99§Experimental Setup
控制器隐藏宽度32§Experimental Setup
KAN 深度 / gridsize / spline order2 层 / 7 / 3§Experimental Setup
图像分类训练300 epochs, AdamW, batch 4096, lr 4×10⁻³, 20 warmup, cosine§Experimental Setup
COCO 训练 schedule1× (12 ep) / 3× (36 ep)§Experimental Setup
ADE20K 训练迭代160K§Experimental Setup
《AI实战嵌入式Agent +MCP+skill》课时2.5|定时器实战 本课讲解定时器时基单元原理,通过PSC、ARR、CNT三寄存器配合实现精确周期控制。以84MHz时钟为例,计算得PSC=8399、ARR=9999可实现1秒溢出周期。采用HAL_TIM_Base_Start_IT启动定时器更新中断,在HAL_TIM_PeriodElapsedCallback中处理周期任务,实现非阻塞、高精度的定时。相比HAL_Delay的阻塞式延时,定时器中断方案不占用主循环,支持并发操作,是嵌入式系统中实现周期任务的高效方式。 阅读详情

相关推荐

告别专业软件!用QGIS+GDAL免费搞定S-57电子海图,附全套符号库和样式文件

本文详细介绍了如何利用免费开源工具QGIS和GDAL处理S-57电子海图,包括数据转换、符号库配置和专业可视化方案。通过实战指南,用户无需依赖昂贵的商业软件,即可实现从S-57到SHP的转换及专业级海图制作,特别适合预算有限的个人和小型机构。

weixin_33701294的博客 391

6 款电商 AI 图片生成软件实测|国内 + 跨境卖家工具清单

电商 AI 作图工具已经从 "能不能用" 进入了 "好不好用" 的阶段。对于绝大多数卖家而言,现在的 AI 工具已经可以覆盖 60%-80% 的基础商品图需求,显著降低拍摄和设计成本。选择工具的核心逻辑不是 "哪款最强",而是 "哪款最适配你的品类、平台规模和团队能力"。垂直电商工具胜在工作流效率,通用生图工具强在创意上限,模板类工具赢在上手速度。建议根据自身业务阶段,搭配 1-2 款主力工具 + 1 款辅助工具,形成适合自己的视觉生产流程。

Mardi_Ladin的博客 273

hspice2016安装教程

试装系统:win10 64bit 安装包路径和安装路径最好都不要出现中文,一般选择默认安装在C盘。 1.解压安装包压缩文件。 2.以管理员身份运行hspice_vL-2016.03-2_win.exe。 3.点击“Next”。 4.选择“I accept”,然后点击“Next”。 5.点击“Next”。 6.一般默认安装路径即可,然后点击“Next”。 7.点击“Next”. 8.点击“Next”。 9.正...

谢谢关注“小鱼教你模数电”,各平台同号 1万+

我用 GPUWorks 在 M1 Pro 上搭了个发票识别原型

公司里经常要看电子发票。我想先做个小原型:把 PDF 发给一个自己部署的图文模型,让它提取发票类型、日期、交易双方和金额,再把结果交给同事核对。这个原型不用先接财务系统,先看看从部署到调用要走多少步,模型返回的内容能不能帮上忙。

鸽芷咕的博客 1万+

AMEsim不连续处理机制:仿真精度与效率的平衡艺术

本文深入解析AMEsim不连续处理机制在系统仿真中的应用,探讨如何平衡仿真精度与效率。通过液压系统仿真案例,详细介绍了事件检测算法、变步长求解器自适应策略及典型场景优化方法,帮助工程师有效应对仿真中的不连续性问题,提升仿真效率和准确性。

v4w5x6的博客 439

基于DPABI和SPM12的任务态fMRI分析笔记1——预处理

前言 原理简介 预处理

Sophia2023的博客 1万+

您您这可以把问小白的多个会话比如说。左侧的多个会话一次性导出吗?不是单条会话里面的多次会对话。AI导出鸭

第三层是格式编译层。这个决策背后的判断很清晰:一个批量导出工具的价值,不在于“试三次”,而在于你真正用它处理了几十份技术文档、访谈记录或课程讲义之后,它是否值得留在你的工作流里。问小白的会话列表通过分页接口加载,AI导出鸭 在页面运行时建立旁路监听,捕获每一次分页请求返回的完整对话清单,包括会话 ID、标题、时间戳和隐藏的元数据字段。让AI导出回归优雅——这句话说的是:导出不该是体力活,而应该是一次完整的、可预期的文件交付。注意:这里的“批量”指的是左侧列表里的多个独立会话,不是一条会话内的多轮对话。

laoyunsi的博客 217

Win10 桌面回收站右键没有“清空回收站”选项怎么解决

Win10 桌面回收站右键没有“清空回收站” 选项怎么解决? 我之前不知道怎么捣鼓注册表(胡乱删了一些。。。) 导致想清空回收站的时候,右键却没有“清空回收站”这个选项了 以下是解决方法: 1、在桌面上新建一个txt文本文档,将以下代码拷贝进去: Windows Registry Editor Version 5.00 [HKEY_CLASSES_ROOT\*\shell\empty] "Com...

菜鸟的后花园 2万+

在Codex 让AI模型 拥有长期智能记忆

本文介绍Claude-Mem V15新功能——智能记忆召回,解决AI遗忘、重复提示、执行不一致等问题。通过本地部署claude-mem,实现自动记录决策(如数据库选型)、跨会话智能召回,支持记忆写入、检索、遗忘全流程闭环。相比传统记忆方案,其基于Hooks自动捕获工具调用,结构化存储,可追溯、可共享、可清理,显著提升工程效率与协作一致性,是长期项目中理想的“工作黑匣子”与“工程脑”。

米莱虾 249

python DEA: 基于非径向距离NDDF的Malmquist-Luenberger 指数及其分解

点赞发Nature 关注中Science Malmquist-Lenberger指数(ML指数)是距离函数与DEA计算中常用的指数,ML指数可以进一步分解为技术进步technological progress和效率改善effeciency change. 技术进步常被当做增长模型中的全要素生产率,用到许多计量经济研究中,探讨影响技术进步的环境变量。这里我分享一个考虑非期望产出下的NDDF方法计算ML指数。 该ML指数为global ML(区别于sequential ML) import numpy as

Cmmmmm丶的博客 5295

101、LLC谐振变换器的传递函数推导

文章摘要 LLC谐振变换器的传递函数推导是电源设计的关键环节。作者通过一次炸管事故案例,揭示了忽视传递函数计算的严重后果。LLC传递函数复杂的根源在于其三个谐振元件(Lr、Cr、Lm)的变频工作特性,导致增益曲线非单调变化。文章详细介绍了采用扩展描述函数法的建模思路,指出Lm对增益曲线的重要影响,并给出了传递函数的数学表达式及频率响应特性。通过实际调试案例,作者对比了错误补偿器设计(Type II)与优化方案(Type III)的效果差异,强调了实测验证的重要性。最后总结了5条实用经验,包括留足裕度、关注启

Jack010169的博客 152

医疗 AI 有两种,别混着谈:一个改流程,一个改范式

InfoXMed 是面向医生、医学生和医学科研人员的 AI 医学工具平台,提供文献检索、全文翻译、AI 解读、指南查询和题库练习等功能,辅助临床学习、科研汇报与医学备考。原文是日本医学会杂志(JMA Journal)的一篇综述(Review Article):基本事实:这一点必须先说清:这篇论文提出的是一个研究纲领。它文中的"预测"指的是科学设想,不是可以拿来用的临床预测能力。文中甚至自己承认了一个硬缺口(见第三节)。本文只谈它的术语辨析与科学方法论,不转述任何可作为临床依据的预测或处置主张。这篇论文的全部

2601_96948740的博客 188

C#实战:从零搭建Vosk离线语音转文字系统

本文手把手教你用C#构建离线语音转文字系统,基于NAudio和Vosk实现全流程开发。首先介绍环境搭建,包括NuGet包安装和中文模型配置,强调16kHz单声道音频格式的关键性。接着详细解析音频预处理转换、Vosk模型初始化及识别过程的核心代码,提供多线程优化建议和实时识别扩展思路。文章包含80%以上代码注释,从常见问题排查到性能优化技巧,完整覆盖从"Hello World"到工业级部署的关键技术点,特别适合需要开发本地化语音识别应用的C#开发者。

墨夶的博客 752

河道漂浮物目标检测数据集

目标检测,yolo,河道漂浮物目标检测数据集

DL_data_set的博客 170

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

AI 应用开发工程师技术实践:大模型接入、通用组件封装与性能优化

本文提出AI应用从PoC到生产的核心挑战:模型调用的持续可用、可控与可优化。通过构建统一LLM网关实现多供应商路由与故障转移,封装对话、工具调用与RAG组件以解耦业务逻辑,结合前缀缓存、批处理与流式背压治理等性能优化手段,形成“接通→接稳→接快”的工程路径,最终以工程化能力决定AI应用的生产可用性。

2301_79189962的博客 472

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

大模型 Embedding 与向量相似度详解

Embedding 解决的问题:计算机不懂文字,但懂数字│▼文本 → 向量(1024维浮点数数组)│▼相似度解决的问题:怎么判断两个向量(文本)有多接近│▼余弦相似度:看向量方向的夹角,越接近0°越相似│▼最终效果:语义搜索——理解意思,而非字面匹配一句话总结:Embedding 把文字变成数字,余弦相似度比较数字的方向,两者结合实现了"理解语义"的搜索。

T3165919332的博客 62

AI前沿日报 · 2026-11-04 | 祛魅时刻:Astra“纯读权重“神话的崩塌

①Astra"裸权重通吃"被spaCy创始人Honnibal精准祛魅——仅1/3实验真裸读,数学能力提升依赖Python+50次迭代;②Simon Willison用Qwen 3.8-27B端侧复现权重空间编程;③Nvidia开源Auto-Ontology自动知识图谱;④$800开源全域抓取机器人Stringman;⑤OpenAI悄然重开Codex训练开关引信任危机;⑥DeepMind发布Gemini 4 Argon机器人基础模型;⑦美国科技巨头隐性AI债务达3.2万亿美元,6个月增90%。

johnsong2009的博客 493

GPT-1 架构和计算细节

下面配合框图,对 GPT-1 的每个组件做公式展开 + 数值实例(配置:12 层 × 768,12 头,FFN 3072,词表 40478,共 117M 参数)。GPT-1 把翻译模型的编码器-解码器砍掉一半,只留解码器,然后以"预测下一个词"为目标在 BooksCorpus 上预训练。与 2017 原版的四个架构差异(框图中标 ★):h0=E[token]+Epos[position],E∈R40478×768, Epos∈R512×768h^0 = E[\text{token}] + E_{pos}[\

eloudy的专栏 226

终端 AI 审计与 “龙虾” 类智能体风险治理:从可见性到闭环溯源

生成式 AI 办公普及之后,数据泄露风险逐步下沉到终端。员工将合同、源代码、客户资料粘贴至公有大模型,以及龙虾(OpenClaw)这类本地开源 AI 智能体的滥用,成为企业安全新挑战。传统网络边界防护存在审计盲区,本文从风险链路拆解、核心能力模型、分级治理策略、落地踩坑点以及技术局限性多角度,分享终端侧 AI 安全治理的实践思路。

2401_86491085的博客 590

2.53 基于极稀疏指纹的室内定位注意力图元学习

该论文发表于IEEE Transactions on Mobile Computing(TMC)2026年6月,面向极稀疏指纹条件下的WiFi室内定位,针对指纹采集人力成本高、标记指纹稀缺时定位精度大幅下降的痛点,提出注意力图元学习模型AGML(Attentional Graph Meta‑Learning),结合图神经网络、元学习、两种指纹数据增强与分布对齐技术,在标记指纹极少的场景实现高精度室内定位,同时公开了多套真实+仿真定位数据集用于基准测试。场景:二维室内空间,障碍物造成信号遮挡,

weixin_42963026的博客 310

语音识别与语音合成的技术原理及应用

语音识别 #语音合成 #人工智能 #大模型。语音识别与语音合成的技术原理及应用。一、语音识别的核心原理。二、语音合成的核心原理。三、工程落地的主要难点。五、需要关注的现实问题。

weixin_62919816的博客 169

视觉推理是在看图,还是依赖语言先验猜答案?

问一张香蕉照片“它是什么颜色”,回答黄色可能来自看图,也可能来自常识。把香蕉换成红色,错误才显露出来;但答错仍可能是没看清颜色、没理解问题,或没有把看到的属性用于回答。**总正确率不能独自区分这些解释。**封面中的红色香蕉只是概念插画,不是论文测试样本。

weixin_44369324的博客 138

设计师工作室 GEO 实操:如何提升 AI 实体推荐概率

设计工作室 GEO 的本质,是把创意服务转化为 AI 可理解的结构化信息。核心动作可归纳为:区分事实与审美、建立实体图谱、预判用户提问、输出脱敏内容、搭建多信源、持续测试验证。梳理工作室的 6 个实体属性:品类、城市、流程、边界、团队、渠道。在官网或作品集平台发布至少 3 篇结构化项目复盘,只陈述事实。输出 1 篇「设计报价影响因素」科普内容,覆盖甲方高频提问。争取 1 次行业媒体或本地媒体专访,形成第三方信源。每周用「XX 城市 + 品类 + 设计工作室推荐」指令测试,记录出现频率。

goujunwe的博客 303

AI作图软件技术选型:从4个技术维度出发的实测对比

AI作图软件技术选型:从4个技术维度出发的实测对比

Vbaoke的博客 183

深入理解 Transformer:Decoder 与 Masked Attention 速查手册

写Decoder时直接套用Encoder自注意力代码,训练loss秒降、推理却不会生成?😵 这份速查手册按“症状→诊断→改法→代价→边界”组织,30秒帮你定位masked_fill、tril、causal_mask的正确写法,附可跑代码与对照表,让你彻底搞懂“为什么不能看到未来”。🔧

2601_94912102的博客 236

WorkBuddy 实战:一句话需求 → 七屏可交互原型,户外徒步 App 的 AI 设计全流程

WorkBuddy 实战:一句话需求 → 七屏可交互原型,户外徒步 App 的 AI 设计全流程,跟着博主一起来还原整个过程。

夜郎King的博客 3715
上一篇: 【CVPR2026】给医学图像“相面”:视觉大模型驱动下的数据偶然不确定性深度解析
下一篇: BMIS:用“浅而宽”重新思考医学图像分割的性价比
寸先生的牛马庄园
博客等级 码龄18年 1579粉丝 375原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值