KAN网络深度剖析——从Spline到B-spline的革新之路

印尼稻米收成与粮食安全数据集2026年 本数据集收录印度尼西亚2026年水稻收成与粮食安全遥测数据,包含10000条稻米农业收成产量与粮食安全监测记录,围绕印尼国家粮食安全体系中的核心作物水稻展开。稻米是印尼逾两亿人口的主粮,其收成波动直接影响国家粮食安全与进口政策,本数据集将种植区域、收成产量、气候与土壤相关遥测指标整合为结构化表格,可支撑粮食产量预测、收成影响因素分析、区域粮食安全评估与农业政策模拟等研究任务。典型应用场景包括:农业时间序列产量预测模型构建、气候因子与水稻收成的关联分析、省份与地区层面的粮食自给率测算、粮食安全风险预警指标设计,也可作为农业经济、粮食政策与数据科学交叉课程的教学素材。数据为2026年最新版,规模约1.2MB、单CSV结构规整,字段命名清晰,适合Python、Pandas、Scikit-learn等主流工具链直接使用,便于开展探索性分析、可视化与机器学习全流程练习。重要说明:本数据为遥测整理数据,分析结论以数据集文档口径为准,农业决策请结合官方统计综合研判。许可:CC0公有领域,可自由使用与二次分发。 立即下载

1. 从MLP到KAN:为什么我们需要一场“底层革命”?

如果你在过去几年里玩过深度学习,哪怕只是跑过一个简单的图像分类demo,那你一定对MLP(多层感知器) 不陌生。它就像深度学习世界的“砖块”,是构成几乎所有复杂网络的基础。从最早的神经网络到如今庞大的Transformer,MLP都是核心的计算单元。它的工作原理很直观:输入数据经过一层层的“线性变换”和“非线性激活函数”(比如ReLU),最终得到输出。理论上,只要层数够多、神经元够多,MLP能逼近任何复杂的函数,这就是著名的“通用逼近定理”。

但用久了,你就会发现MLP的一些“老毛病”。首先,它是个“黑盒子”。你很难说清楚中间某一层、某一个神经元到底在计算什么,它们共同协作,但缺乏独立的、可解释的意义。其次,为了达到高精度,MLP往往需要堆砌海量的参数。想想看,Transformer里的前馈网络(FFN)动辄就是成千上万的维度,参数爆炸式增长,对算力和内存都是巨大的挑战。更重要的是,MLP的“逼近”方式有点“笨”。它试图用一个全局的、由简单非线性函数堆叠而成的网络去拟合所有数据,这就像试图用一把大锤去敲所有钉子,虽然最终可能敲进去,但效率不高,也不够优雅。

这时候,KAN(Kolmogorov-Arnold Networks) 带着一套完全不同的哲学出现了。它不再把非线性能力完全交给那些固定的、死板的激活函数(比如ReLU、Sigmoid),而是把“学习函数形状”这件事,交给了网络本身。KAN的核心思想,是回到了一个更古老的数学定理——Kolmogorov-Arnold表示定理。这个定理说,任何一个复杂的多元连续函数,都可以分解成有限个单变量函数的求和。这听起来有点抽象,我打个比方:你要做一桌满汉全席(复杂多元函数),传统MLP的思路是训练一个超级厨师,让他一次性处理所有食材和工序。而KAN的思路是,请来一群专项厨师,一个专门处理火候(单变量函数1),一个专门负责刀工(单变量函数2),一个专门调味(单变量函数3),最后把他们的成果汇总起来。后者显然更模块化,也更容易理解每个“厨师”的贡献。

KAN就是把这种“专项厨师”的思想实现了。在KAN中,网络边(edge)上的权重不再是简单的标量数字,而是一个个可以学习的、灵活的单变量函数。这些函数用什么来实现呢?这就是样条(Spline),特别是B样条(B-spline) 大显身手的地方。所以,KAN的本质可以看作是 MLP的“骨架” 加上 Spline/B-spline的“血肉” 。它继承了MLP的层级结构和信息传递方式,但用可学习的、平滑的样条函数取代了固定的、僵化的激活函数,从而在理论表达能力、可解释性和参数效率上,都带来了全新的可能性。接下来,我们就深入看看,Spline和B-spline是如何为KAN注入灵魂的。

2. Spline与B-spline:给函数“自由变形”的魔法工具箱

要理解KAN,必须先搞懂它赖以生存的数学工具——样条。你可能没听过这个名字,但你一定用过它的思想。想象一下,你要用一根柔软的尺子(或者PS里的钢笔工具)去勾勒一组散乱的数据点,画出一条光滑的曲线穿过它们,这就是插值。最简单粗暴的方法是用一个非常高阶的多项式函数一次性穿过所有点,但这会带来灾难性的“龙格现象”(Runge‘s phenomenon):在数据点之间,尤其是区间边缘,曲线会疯狂振荡,完全失去预测意义。

样条聪明地解决了这个问题。它的策略是“分而治之”:把整个定义域分成很多小区间,在每个小区间内,用一个很低阶(比如三次)的多项式来拟合。然后,在区间与区间的连接处(称为“节点”或“结”,Knot),要求这些多项式在函数值、甚至一阶导数、二阶导数上都保持连续。这样,最终拼接出来的整体曲线,既保持了全局的光滑性,又避免了高阶多项式的不稳定振荡。这就像用一段段柔软的、低阶的“弹簧”连接起来,形成一根能平滑弯曲的“样条尺”,故名“样条曲线”。

在KAN的早期构想中,使用的就是这种分段多项式样条。但是,直接使用分段多项式在计算和实现上有些麻烦,特别是在需要动态调整和高效求导时。于是,更强大的工具——B样条(B-spline,Basis-spline的缩写) 登场了。B样条可以看作是构建样条函数的“乐高积木”。它有一组称为“B样条基函数”的特定函数,这些基函数本身是分段多项式,并且具有局部支撑性(每个基函数只在少数几个相邻区间内非零)。任何我们想要的样条函数,都可以表示成这组基函数的线性组合。

B样条有几个关键优势,让它成为KAN的理想选择:

  1. 数值稳定性好:基函数的局部性使得计算和修改局部曲线时,不会“牵一发而动全身”。
  2. 易于求导和积分:B样条函数的导数仍然是B样条函数,这为基于梯度下降的训练(如反向传播)提供了极大的便利。
  3. 灵活性高:通过增加节点密度(即“细化网格”),可以在需要更高精度的区域增加更多的“积木块”,从而以任意精度逼近目标函数,这直接带来了可控制的逼近精度。
  4. 定义统一:B样条在其定义域内所有节点处都具有预设的连续性(如C²连续),管理起来非常规范。

在KAN中,连接网络每一层神经元的那条“边”,不再是一个静态的权重值 w,而是一个由B样条基函数组合而成的可学习函数 Φ(x)。这个 Φ(x) 的形状会在训练过程中,根据数据反馈不断调整。你可以把它想象成一条可以自由弯曲的“传输管道”,它的弯曲形状决定了信息从上一个神经元流向下一个神经元时的具体变换方式。这就是KAN革新性的核心:将学习从“寻找最优权重标量”提升到了“寻找最优函数形态”的维度。

3. KAN架构拆解:当数学定理变成神经网络层

知道了B样条这个强大的工具后,我们来看看KAN是如何具体搭建起来的。一切始于Kolmogorov-Arnold (KA) 表示定理。它的数学表达式是:对于一个多元连续函数 f(x1, x2, ..., xn),它可以被精确表示为两层单变量函数的嵌套求和: f(x1, ..., xn) = Σ_{q=1}^{2n+1} Φ_q ( Σ_{p=1}^{n} Φ_{q,p}(x_p) ) 这里的 Φ_{q,p} 和 Φ_q 都是单变量连续函数。这个定理告诉我们,多元函数的复杂性,本质上可以分解为多个一元函数处理的线性组合。

KAN网络就是对这个定理的直接、优雅的实例化。一个最简化的两层KAN结构如下:

  1. 第一层(内部函数层):对应定理中的 Φ_{q,p}(x_p)。假设输入是n维,我们创建 (2n+1) 个神经元。对于第 q 个神经元,它的输入是n个单变量函数 Φ_{q,1}(x1), Φ_{q,2}(x2), ..., Φ_{q,n}(xn) 的和。注意,这里的每个 Φ_{q,p} 都是一个可学习的B样条函数,它作用在单个输入特征 x_p 上。
  2. 第二层(外部函数层):对应定理中的 Φ_q。它将第一层 (2n+1) 个神经元的输出,再次通过 (2n+1) 个单变量B样条函数 Φ_q 进行处理,然后求和,得到最终的输出。

用矩阵运算的眼光来看会更清晰。我们可以把一层KAN定义为一个函数矩阵 Φ 对输入向量 x 的运算。假设输入维度是 n_in,输出维度是 n_out,那么这一层KAN包含 n_in * n_out 个可学习的B样条函数。每个函数 Φ_{l,i,j} 负责将第 l-1 层的第 i 个神经元的输出,变换后传递给第 l 层的第 j 个神经元。整个层的计算就是所有输入经过各自对应的函数变换后的求和。

# 一个高度简化的KAN层前向传播概念代码
import torch
import torch.nn as nn
# 假设我们有一个B样条函数库,SplineFunction封装了B样条基的线性组合
class SplineFunction(nn.Module):
    def __init__(self, num_basis, grid_range):
        super().__init__()
        self.coeffs = nn.Parameter(torch.randn(num_basis)) # 可学习的基函数系数
        # ... 这里省略B样条基函数的具体实现 ...
    def forward(self, x):
        # 计算x在所有B样条基函数上的值,与系数coeffs做线性组合
        return spline_output

class KANLayer(nn.Module):
    def __init__(self, input_dim, output_dim):
        super().__init__()
        # 为每一对 (输入, 输出) 创建一个SplineFunction
        self.spline_functions = nn.ModuleList([
            [SplineFunction(...) for _ in range(output_dim)] for _ in range(input_dim)
        ])
    def forward(self, x): # x shape: (batch_size, input_dim)
        batch_size = x.shape[0]
        output = torch.zeros(batch_size, len(self.spline_functions[0]))
        for i in range(self.input_dim):
            for j in range(self.output_dim):
                # 输入x的第i个特征,经过函数Φ_{i,j}变换,加到第j个输出上
                output[:, j] += self.spline_functions[i][j](x[:, i])
        return output

当然,实际MIT团队的实现用了大量优化来向量化这个计算过程,但核心逻辑就是如此:边是函数,节点是做加法。这与MLP的“边是权重,节点是非线性函数”形成了镜像般的对比。这种结构上的对调,正是KAN可解释性的根源——我们可以直观地可视化每条边上的函数 Φ(x),看看它对输入做了什么样的变换。

4. 实战优化:让KAN从理论走进实验室

光有漂亮的数学架构还不够,要让KAN在真实的训练中稳定工作并快速收敛,MIT团队引入了几项非常关键的工程优化,这些技巧对于想复现或应用KAN的人来说至关重要。

### 4.1 残差激活与初始化策略

直接训练一个纯粹的样条函数可能会遇到梯度不稳定或学习缓慢的问题。为此,KAN将每条边上的激活函数 Φ(x) 设计为一个残差结构:Φ(x) = w * b(x) + spline(x)。

  • b(x) 是一个基础的非线性函数,比如SiLU(Swish)函数。它提供了一个良好的初始变换基准。
  • w 是一个可学习的标量权重,它控制基础函数的强度。
  • spline(x) 就是我们核心的可学习B样条部分。

这个设计非常巧妙。在训练初期,通过将样条部分的系数初始化为接近零,并使 w 用标准MLP方法(如Kaiming初始化)初始化,整个网络的行为类似于一个传统的、以 b(x) 为激活函数的MLP,这保证了训练的起点是稳定的。随着训练进行,网络会逐渐学习到 spline(x) 中更精细的、数据驱动的函数形状修正。这类似于残差连接中的“恒等映射”思想,确保了信息流动的畅通。

### 4.2 动态网格更新:让样条跟上数据的脚步

B样条函数定义在一个预设的、均匀的“网格”区间上。但训练过程中,激活值的分布可能会发生变化,甚至跑出初始网格定义的范围,导致外推性能差。静态网格显然不行。

KAN采用了一种动态网格更新策略。它会定期(例如每隔几个训练步)统计每个激活函数输入值的实际分布,然后根据分位数(例如最小值和最大值)来重新调整该函数B样条的网格边界和节点位置。这样,样条函数始终“聚焦”在数据实际出现的区域,确保了其逼近能力始终在线。这个过程是自动的、可微分的(通过直方图统计和插值实现),因此可以无缝嵌入到反向传播中。

### 4.3 高效的缩放与扩展:从瘦子到巨人的科学路径

KAN展示了一个迷人的特性:神经缩放定律。即测试误差随着模型参数的增加而平滑下降。由于B样条可以通过增加网格粒度(更多节点)来无限提高逼近精度,KAN的缩放潜力理论上非常优秀。

更实用的是,KAN支持一种“渐进式扩展”的训练范式。你可以先训练一个网格较粗、参数较少的小型KAN。当它收敛后,你可以对每个样条函数进行“细化”:在其每个网格区间内插入新的节点,从而将网络扩展成一个参数更多、网格更细的大型KAN。然后,你可以用小型KAN的参数作为初始化,继续训练大型KAN。这种方法往往比直接训练大型网络更快、更稳定,因为它利用了粗粒度网络已经学到的函数形状先验。

5. 可解释性实践:打开KAN的“黑箱”,看见符号公式

KAN最引人瞩目的承诺之一就是可解释性。在MLP里,我们很难说清一个神经元在做什么。但在KAN里,每条边上的函数 Φ(x) 都是可视化的对象。MIT团队提供了一整套从“稀疏化”到“符号化”的流程,来将训练好的KAN变成一个人类可以理解的模型。

### 5.1 稀疏化与剪枝:抓住主要矛盾

一个未经处理的、训练好的KAN可能仍然很复杂,许多边上的函数作用微乎其微。第一步是稀疏化训练。除了常规的任务损失(如MSE),我们在损失函数中加入对激活函数 Φ 的L1正则化,鼓励它们的幅度变小。同时,还引入了一种基于熵的正则化,进一步促进函数形状的简化。经过这种训练,不重要的连接其函数会趋于零或非常平缓。

接下来是剪枝。我们可以设定一个阈值,将幅度小于该阈值的边直接移除(将其函数设为零)。也可以在神经元级别进行剪枝:如果一个神经元的所有输入边或所有输出边都不重要,那么这个神经元本身可以被移除。这个过程能大幅简化网络结构,得到一个更紧凑、核心的子网络。

### 5.2 可视化:函数的“心电图”

剪枝后,我们可以直接绘制出剩余边上 Φ(x) 的函数曲线。MIT的代码库提供了强大的可视化工具,可以将网络结构图和函数曲线叠加显示。函数的透明度可以与其重要性(幅度)挂钩,这样一眼就能看出哪些变换是关键性的。例如,在处理物理数据时,你可能会发现某个边上的函数曲线非常接近 sin(x) 或 exp(x),这立刻给了你关于该特征变换的物理洞察。

### 5.3 符号化:从曲线到数学公式

这是最激动人心的一步。当我们怀疑某个学到的 Φ(x) 实际上对应一个已知的数学函数(如 sin, cos, log, x^2)时,我们可以进行符号化拟合。具体做法是,收集该函数输入输出的数据对 (x, y),然后尝试用 y ≈ c * f(a*x + b) + d 来拟合,其中 f 是我们猜测的符号函数,a, b, c, d 是待拟合的仿射变换参数(用于缩放、平移和拉伸)。

通过迭代搜索和线性回归,我们可以找到最优的仿射参数,并将这个可学习的B样条函数“固定”为我们发现的符号函数。这样,网络的一部分就从数值近似变成了精确的数学表达式。在符号回归或科学发现任务中,这个过程可以自动从数据中重新发现基本的物理定律,例如,从运动数据中“发现” F=ma 这样的关系。

6. 优势、挑战与未来:KAN将走向何方?

经过前面的深入剖析,我们可以更全面地看待KAN的优势与当前面临的挑战。

优势总结:

  1. 更高的参数效率与精度:在参数量相同或更少的情况下,KAN在众多科学计算任务(如求解偏微分方程、拟合复杂函数)上,其逼近精度显著优于MLP。因为它用灵活的样条直接学习函数形态,而非用大量线性权重去“硬凑”。
  2. 内在的可解释性:如前所述,可视化与符号化能力是革命性的,为“可解释AI”和“AI for Science”提供了强大的新工具。
  3. 更好的缩放特性:得益于B样条的网格细化能力,KAN的缩放定律表现优异,且支持渐进式扩展训练。
  4. 避免灾难性遗忘的潜力:有初步研究表明,由于函数学习的局部性,KAN在连续学习任务上可能比MLP表现更稳健。

当前的挑战与瓶颈:

  1. 训练速度慢:这是目前最现实的瓶颈。在参数量相当的情况下,KAN的训练速度通常比MLP慢一个数量级(10倍左右)。主要原因在于,计算成千上万个不同的B样条函数,并为其求导,比计算统一的、高度优化的矩阵乘法和ReLU激活要昂贵得多。这对GPU的并行计算架构也不够友好。
  2. 计算开销大:动态网格更新、大量的函数求值都需要额外的计算和内存开销。
  3. 软件生态缺失:目前只有PyTorch的原型实现,缺乏像TensorFlow/Keras那样成熟的、高度优化的API和生态系统支持,也尚未集成进主流的深度学习框架。
  4. 大尺度任务验证不足:KAN在图像分类、大规模自然语言处理等经典深度学习“主战场”上的表现,尚未得到像Transformer在MLP基础上那种颠覆性的证明。要撼动Transformer的地位,道路还很漫长。

未来的可能方向: 从我个人的观察和社区动态来看,KAN的未来发展可能会围绕以下几点展开:

  • 算法与工程优化:这是当务之急。研究更快的B样条计算方法、设计专用的硬件加速单元(如针对样条计算的AI芯片)、探索激活函数分组共享(Grouped Activation)以在灵活性和效率间取得平衡。
  • 架构杂交:将KAN层与传统的MLP层或注意力层结合,形成混合模型。例如,用KAN层处理需要高解释性和精确函数拟合的部分(如科学模型中的方程项),用MLP/Transformer处理大规模的模式识别部分。
  • 成为科学发现的标配工具:在数学、物理、化学、生物等基础科研领域,KAN的可解释性和高精度拟合能力使其有望成为数据分析、符号回归和假设发现的强大工具,率先在这些领域扎根。
  • 推动“函数学习”范式:KAN的成功可能会激励更多基于“学习函数”而非“学习权重”的神经网络架构出现,丰富深度学习的设计空间。

在我自己尝试复现和一些简单实验的过程中,确实能感受到KAN在拟合复杂函数时的那种“丝滑”和精准。虽然每次训练都得泡杯咖啡等更久,但看到训练完成后能清晰可视化出每条边上学到的函数,甚至能解读出一些有意义的模式时,那种满足感是调参黑盒模型无法比拟的。它目前可能还不是替代MLP的“日常工具”,但它无疑为我们打开了一扇新的大门,让我们看到了神经网络设计的另一种可能——一种更贴近数学本质、更透明、也或许更智能的可能。对于研究者和那些对模型“为什么”工作感兴趣的人来说,KAN是一个非常值得投入时间深入探索的宝藏。

企业数字化转型AI大模型赋能智能体平台及AI场景应用规划方案(生态合作版).pptx 立即下载

相关推荐

智慧环保生态保护行业可信数据空间应用规划方案(技术方案版).pptx

智慧环保生态保护行业可信数据空间应用规划方案(技术方案版).pptx

NPU(神经网络处理单元)详细解析

NPU(Neural Processing Unit,神经网络处理单元)是一种专门为加速神经网络计算(尤其是深度学习推理)而设计的专用处理器(ASIC/DSP 类)。它也常被称作神经引擎(Neural Engine)、AI 加速器、APU(AI Processing Unit)等。处理器擅长不擅长CPU通用逻辑控制、串行任务、操作系统调度大规模并行矩阵运算,能效比低GPU图形渲染、大规模并行浮点计算功耗高(几十到几百瓦),不适合电池设备NPU神经网络核心算子(矩阵乘、卷积、激活)

zhaoshuzhaoshu的专栏 274

气象服务行业可信数据空间应用规划方案(技术方案版).pptx

气象服务行业可信数据空间应用规划方案(技术方案版).pptx

物理信息神经网络与扩展物理信息神经网络(PINN/XPINN)求解功能梯度材料稳态—瞬态热传导,MATLAB代码

物理信息神经网络与扩展物理信息神经网络(PINN/XPINN)求解功能梯度材料稳态—瞬态热传导,MATLAB代码

机器学习之心的博客,关注并私信文章链接,获取对应文章源码和数据。 296

机器视觉检测实战教程 19页成品课程光源选型Halcon标定海康相机VisionPro

内容概要:机器视觉检测实战教程,19页6章成品课程PDF:视觉检测光源选型对照表+五个翻车案例、Halcon模板匹配create_shape_model七参数整定、视觉标定三类(9点/旋转/手眼)、海康工业相机C#取图黑图丢帧排坑、VisionPro QuickBuild部署License迁移C#宿主、远心镜头选型。含C#/Halcon代码与现场案例。适用人群:机器视觉工程师、自动化检测开发、企业内训。使用场景:视觉方案设计、选型、标定部署、团队培训。原创整理。

【医疗器械制造】基于酸碱腐蚀环境的一次性乳胶手套铝合金手模失效机理分析与量产风险控制

内容概要:本文围绕一次性医用乳胶手套生产中使用的铝合金手模在酸碱环境下的失效风险展开系统性分析,重点探讨其在外表面腐蚀、清洗循环、氯介质侵入及表面粗糙度控制等方面的工程挑战。研究表明,尽管市场上已有带涂层的铝合金手模供应,但其能否在强碱、酸洗、毛刷摩擦、冷热交变和氯共存的复杂工况下长期维持Ra 1.0—2.5 μm的表面质量并实现稳定脱模,仍需经过严格的多阶段验证。常规阳极氧化+PTFE涂层方案已被实测排除,而316L不锈钢筒体在湿氯环境中出现的三个月内腐蚀失效案例提示必须重视内腔隔离设计。文章强调,采购决策应基于“小批量试制—离线加速试验—影子生产验证—条件性放行”的四阶段准入机制,结合表面参数、工艺相容性、手套成品性能与全生命周期成本进行综合评估,避免依赖供应商宣传数据。; 适合人群:从事医疗器械制造、材料工程、设备采购与工艺质量管理的技术人员及决策管理者,尤其是涉及乳胶手套生产线优化与手模选型的相关从业人员。; 使用场景及目标:①评估铝合金手模替代陶瓷手模的技术可行性与风险边界;②建立手模选型的系统验证流程,防范因表面失效导致的脱模异常、手套缺陷与非计划停机;③指导采购合同中技术条款的制定,确保供应商交付具备可验证数据支撑; 阅读建议:此资源以工程实证为导向,建议读者结合自身产线工艺参数,重点关注外表面Ra控制、内腔双密封设计、影子生产验证方法及失效链追溯体系的构建,在试制阶段严格执行多维度联合判定标准,审慎推进规模化替代。

神经网络与深度学习笔记_Day6

神经网络与深度学习笔记_Day6,包含 ANN案例、CNN概述、卷积层 与 池化层。 写于2026/02/12。

ZZHow Blog 357

MCGS的Http协议驱动,支持http协议

硬件配置 参数设置 设备属性 设备命令 通讯状态 附录 #HTTP 1、 设备简介 驱动类型 该驱动为独立设备,直接添加构件即可,不需要挂载到父设备下 通讯协议 采用标准HTTP1.1协议 通讯方式 驱动构件为客户端。 2、 硬件连接 本软件在通讯之前,请保证通讯连接正确。通讯连接方式:采用标准的RJ45接口的以太网接线(对调网线或使用HUB交换)。 3、 设备通讯参数 本设备为独立设备,无父设备参数 4、 设备构件参数设置 “HTTP设备”参数设置如下: <1> 内部属性: 构建url信息。 <2> 最小采集周期:本软件对设备进行操作的时间周期,单位为ms,默认为100ms。 <3> 通讯等待时间:通讯数据接收等待时间,默认设置为200ms,当采集速度要求较高或数据量较大时,设置值可适当减小或增大。 <4> HttpHead:http head添加需要的字段,不需要添加http head时值为空,默认不添加。 5、 设备命令 本设备构件提供设备命令,用于进行相应的操作,设备命令的格式如下: 设备命令 命令介绍 GetHttpHead 格式1 GetHttpHead(headStr) 用途 获取http head参数 参数 headStr 参数可以为字符型变量、字符串常量 例1 !SetDevice(设备0,6,"GetHttpHead(headStr)") 获取http head数据保存到headStr中 SetHttpHead 格式1 SetHttpHead(headStr) 用途 设置http head参数 参数 headStr 参数可以为字符型变量、字符串常量

2027年神经网络、智能信息与数据科学国际会议(NNIDS 2027)

2027年神经网络、智能信息与数据科学国际会议(NNIDS 2027)将在中国·合肥举行,会议围绕神经网络、智能信息处理与数据科学等研究方向展开学术交流,关注人工智能算法、数据分析技术以及智能信息系统的发展。

Yangxshy的博客 217

U-net复现pytorch版本 以及制作自己的数据集并训练

GitHub链接: https://github.com/milesial/Pytorch-UNet 论文链接:

candice5566的博客 3万+

C# 原生数字孪生的尝试

本文介绍了使用C#实现数字孪生的基本思路。首先从爱普生官网下载机器人3D模型,然后通过Blender创建并导出带动画的FBX模型。在WPF项目中,使用HelixToolkit.SharpDX等插件加载模型,通过Viewport3DX进行3D渲染。关键点是通过动画控制器接收真实设备信号来驱动模型动画,实现物理实体与虚拟模型的同步。文中提供了完整的代码实现,包括模型导入、动画播放控制等核心功能。该方法为构建数字孪生系统提供了一种可行的技术方案。

qq_33529095的博客 1334

第 06/24 期:神经网络的反向传播算法:从链式法则到梯度计算

本文系统阐述了神经网络中反向传播的数学原理:前向计算为函数复合,而参数梯度需通过链式法则逆向传递。核心是定义误差项 $\delta^{(l)} = \nabla_{z^{(l)}}\mathcal{L}$,从输出层开始递推,利用权重转置与激活导数实现高效梯度传播。权重梯度由误差项与输入的外积构成,偏置梯度即误差项本身。通过两层网络实例验证了公式正确性,强调维度一致性的重要性,并揭示了激活函数导数在梯度传播中的关键作用,为理解深层网络训练机制提供理论基础。

weixin_47502228的博客 679

Dell T7910工作站LSISAS3008IR RAID配置全流程:从零到实战避坑指南

本文提供了Dell Precision T7910工作站集成LSISAS3008IR RAID控制器的完整配置与避坑指南。详细拆解了从固件版本确认、安全更新到创建RAID 0阵列的全流程,并重点预警了固件与UEFI安全启动冲突等常见陷阱,帮助用户高效、稳定地部署存储系统。

qq_27496129的博客 1080

第 02/24 期:从线性模型到多层感知机:神经网络的表示能力

本文探讨了线性模型的表达局限,指出其函数族仅能表示超平面边界,无法解决非线性可分问题(如XOR)。通过多层感知机引入非线性激活函数(如ReLU、tanh),网络可构建分段线性或光滑非线性函数,显著提升表示能力。实验表明,单隐藏层MLP在拟合复杂目标函数时优于仿射模型。但需区分表示能力、优化可达性与泛化性能三者:即使模型理论上可逼近任意函数,实际训练仍受初始化、优化路径和样本限制。

weixin_47502228的博客 376

VMware ESXi +DELL虚拟化存储磁盘容量处于紧急状态问题的处理

1、环境介绍 exsi server两台(DELL R730 ): 192.168.3.206 VMware EXSi6.5 192.168.3.207 VMware EXSi6.5 磁盘存储柜一台(DELL SC2000): 192.168.3.208 2、故障处理 由于前期规划的卷空间过大,虚拟机文件逐年增大以后,造成卷的磁盘占用过与整个磁盘空间的容量,虚拟化平台可用容量爆掉,DELL SC2000自动切换到紧急状态,禁止所有磁盘I/O,exsi主机上的虚拟机无法开机 首先,安装

wolf1105的博客 3534

MIT Mini Cheetah--仿真流程

MIT Mini Cheetah–仿真 摘要 由于官方提供代码中,控制仿真环境中的猎豹机器人运动需要遥控器来控制。官方默认推荐使用logitech Gamepad F310游戏手柄:We use the Logitech F310 controller. There’s a switch in the back, which should be in the “X” position. The controller needs to reconnected if you change the switch

Galaxy_Robot的博客 5916

神经网络与深度学习笔记_Day5

神经网络与深度学习笔记_Day5,包含 梯度下降优化方法、学习率衰减策略、正则化 与 ANN案例。 写于2026/02/07。

ZZHow Blog 334

uniapp - H5网页uni.getLocation报错getLocation:fail Geolocation permission denied.Get ipLocation failed.

uni.getLocation getLocation:fail Geolocation permission denied.Get ipLocation failed.,uni.getLocation定位失败,uni-app getLocation()无法获取定位,一直fail()uniapp移动端h5网页,uniApp微信内置浏览器定位失败,如何解决这个问题,uniapp h5 uni.getLocation获取位置失败怎么办,UNI-APP获取当前位置,uni.getLocation定位失败,unia

🏆 前端领域优质创作者 4244

神经网络是如何学习的?(关于损失函数,梯度下降,反向传播,梯度消失详解)

神经网络的学习本质是一场“瞎子下山”的试错游戏:通过前向传播预测,损失函数评分,反向传播计算梯度,梯度下降更新参数,循环数万次。单个神经元如直线分割,难以解决复杂问题(如XOR),但多层感知机(MLP)叠加非线性激活后,可拟合任意复杂边界。损失函数定义“错误”程度,梯度下降则沿最陡方向迭代优化,学习率决定步幅。反向传播利用链式法则高效分配误差责任,但深层网络中梯度逐层衰减,导致“梯度消失”,使浅层参数难以更新。核心在于:模型靠不断试错,在参数空间中寻找最低损失点,最终学会“看懂世界”。

JYF2007ABC的博客 836

C# 上位机之海康工业相机开发(SDK)实战教程

海康工业相机的C#开发核心是基于MVS SDK的“初始化→枚举→连接→采集→释放”流程,其中图像回调处理和格式转换是关键。严格按照SDK文档处理设备类型(网口/USB)和像素格式;及时释放图像资源,避免内存泄漏;错误码是排查问题的重要依据(可参考SDK中的“错误码说明”文档)。掌握这些基础后,可结合机器视觉算法(如OpenCV)实现缺陷检测、尺寸测量等高级功能,构建完整的工业视觉系统。

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 3844

Doris磁盘空间管理(生命周期管理、清理磁盘空间方法)

在进行数据仓库开发时,比较头疼的是历史数据不删除,磁盘空间不断增长,如果磁盘空间不足时,spark调度任务写入时就会报错。

大模型大数据攻城狮的专栏 1720

从“人工智障”到“智能”,没有激活函数的神经网络只是在叠直线

没有激活函数的神经网络仅能表示线性关系,即使堆叠多层也无法拟合复杂非线性模式,导致模型表现如“人工智障”。激活函数(如ReLU)引入非线性,使网络能分段拟合复杂边界,实现从“画直线”到“拼曲线”的跃迁。正确使用激活函数、避免输出层重复激活、合理选择损失函数,是解决模型失效的关键。

JYF2007ABC的博客 423

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

神经网络与深度学习笔记_Day2

神经网络与深度学习笔记_Day2,包含 张量 与 自动微分。 写于2026/01/21。

ZZHow Blog 126

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

DeepXDE 物理信息神经网络(PINN):自动微分嵌入 PDE 求解的计算特征与 UltraLAB 图形工作站选型

单卡显存决定单任务上限,CPU 高主频多核决定试验吞吐。入门者一张 12—16 GB 显卡即可开展研究;做三维反问题与算子学习的团队建议 24 GB 级单卡起步、64 GB 以上内存;需要批量反演与不确定度量化的实验室按"多卡多任务"扩展,并把预算优先给显存与内存,而非盲目堆卡数。DeepXDE 多后端特性使同一环境可服务 TensorFlow/PyTorch/JAX 三类技术栈,部署时注意 CUDA 版本与后端版本的匹配。

206

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

从零搭建一个神经网络:从底层原理到 PyTorch 完整实现

神经网络(Neural Network)是一种受到生物神经系统启发的机器学习模型。它通过多个相互连接的人工神经元,对输入数据进行特征提取和非线性变换,最终完成分类、回归、预测等任务。神经网络就是通过大量数据不断调整内部参数,让模型逐渐学会输入与输出之间的映射关系。例如,我们希望训练一个模型,根据房屋面积、房间数量、地理位置等特征预测房屋价格。传统机器学习可能需要人工设计特征,而神经网络能够通过多层计算自动学习数据中的复杂规律。梯度表示函数对各个参数的变化率。

2503_90237586的博客 265

1,944 Star 的浏览器人声合成器 CHIMERA:不用采样、不用神经网络,靠物理建模“唱”出歌来

开源项目 CHIMERA(1,944 Star/7 天)在浏览器里物理建模了一副完整气道(肺、声带、声道、唇、鼻):Rust 编译 WASM 跑 AudioWorklet,零采样零神经网络,可拖舌头演奏、按 IPA 说话、钢琴卷帘唱歌、姿态化打 beatbox,还自带鸣禽与大象发声模型。本文拆解其确定性引擎设计、对真人歌手的校准方法与上手命令。

话梅糖の优快云 Blog 319
上一篇: Docker实战:5分钟快速搭建CTF AWD靶场(附常见报错解决方案)
下一篇: 运算放大器实战指南:从基础电路到电源设计
sql99
博客等级 码龄19年 168粉丝 1905原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值