CNN训练细节：卷积核分解

最新推荐文章于 2025-04-17 21:54:50 发布
最新推荐文章于 2025-04-17 21:54:50 发布
阅读量2.7k 收藏 3
点赞数 5
分类专栏： CV基础 文章标签： 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/yangzixuan_0608/article/details/98040452
版权
本文探讨了使用多个小卷积层代替大卷积层的方法，如两个3×3卷积层替代5×5卷积层，三个3×3卷积层替代7×7卷积层。这种做法不仅能够保持相同的感知野，还能减少参数数量和计算量。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  • 背景：最近看到一些分解卷积层的方法，比如三个3×3的卷积层替代一个7×7的卷积层，或者两个3乘3的卷积层替代一个5×5的卷积层，本文主要是个人粗浅的分析下原因

一、两个3乘3的卷积层替代一个5×5的卷积层

  • 经典原理网图：

在这里插入图片描述

  • 如图所示：
  1. 对于两层3×3的卷积层而言
  2. 最上面一层的3×3卷积层，每个1×1区域的感知野都是3×3
  3. 第二层的3×3卷积层，每个1×1区域的感知野还是3×3
  4. 所以两层3×3卷积层，叠加效果可以覆盖一个5乘5的区域，既是两层3×3卷积层，可以获得一个5×5的感知野；

二、三个3×3的卷积层替代一个7×7的卷积层

  • 和两个3乘3的卷积层替代一个5×5的卷积层原理一样
  • 再叠加一层3×3的卷积层，叠加效果就可以覆盖一个7×7的区域，既是可以获得一个7×7的感知野

三、先知道怎么做，再讨论下为什么

  • 对于一个5×5的卷积核，假设输入图片尺寸为 C K G；

  • 训练过程中涉及的权重数量：5×5×C；

  • 对于2个3×3的卷积核；

  • 涉及的权重数量：2×3×3×C；

  • 可以知道涉及的参数数量，在卷积核分解后会减少，所以这样做，可以减少需要维护的参数数量，减少计算量；

YOLO11创新改进系列：卷积，主干 注意力，C3k2融合，检测头等创新机制（已更新110+）
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
10-29 1万+
本专栏提供详细的 YOLO11 教程，包括基础知识、源码解析、入门实践、算法改进和项目实战，适合发表YOLO11 学习者订阅。内容包含 100+多篇独家改进机制，适合发表论文，评分高达 96 分。订阅者将获得一键运行的改进文件及答疑交流群支持。 使用服务器的同学还可以私聊获取搭建好的运行环境。
深度学习笔记------卷积训练
博客
02-14 1288
深度学习笔记------卷积训练
卷积核的分解技巧
weixin_38132729的博客
01-05 4314
1、Bottleneck卷积核   Bottleneck卷积核的特点是能够降低特征数据的维度减少计算量，增加模型的非线性表达能力。 Bottleneck卷积核可以改变原始输入数据的通道数，而3×3卷积核可以通过组合多个卷积核的方式实现大尺寸卷句话饿的卷积效果。 在卷积核大小和步长不变的情况下，连续使用两个3×3卷积核得到的特征图大小相当于使用1个5× 5卷积核得到的特征图大小。参数数量从26（5×5+1）降到20（（3×3+1）×2），而且由两个3×3卷积核得到的网络层数更多。 假设图像大小为n×n,经过5
卷积核参数是如何训练？
最新发布
xuukai的博客
04-17 482
卷积核的值是通过训练过程学习得到的，而不是直接计算出来的。训练过程包括：随机初始化卷积核。前向传播计算特征图。计算损失函数。反向传播计算梯度。使用优化算法更新卷积核的值。重复上述步骤，直到模型收敛。通过这种方式，卷积核能够自动学习到输入数据中的关键特征，从而提高模型的性能。
CNN | 03卷积层的训练
“逛丢一只鞋”的博客
08-07 1556
3 卷积层的训练 同全连接层一样，卷积层的训练也需要从上一层回传的误差矩阵，然后计算： 本层的权重矩阵的误差项 本层的需要回传到下一层的误差矩阵 在下面的描述中，我们假设已经得到了从上一层回传的误差矩阵，并且已经经过了激活函数的反向传导。 3.1 计算反向传播的梯度矩阵 正向公式： Z=W∗A+b(0)Z = W*A+b \tag{0}Z=W∗A+b(0) 其中，W是卷积核，*表示卷积（互相关）计算，A为当前层的输入项，b是偏移（未在图中画出），Z为当前层的输出项，但尚未经过激活函数处理。 我们举一个具
卷积核分解、深度可分离卷积
福尔摩斯帅双的博客
09-03 1469
参考于：《深度学习与目标检测》 杜鹏 仅供学习交流 GoogLeNet团队在Inception v2 ：较大尺寸的卷积核可以带来较大的感受野，但也会带来更多的参数和计算量。 用两个连续的3X3的卷积核来代替一个5X5的卷积核，在保证感受野大小不变的同时可以减少参数个数，如下图 两个3X3的卷积核的参数数量为18，一个5X5的卷积核的参数数量为25，由此可见参数数量得以减少，且感受野大小不变。 一个nXn的卷积核可以由1Xn和nX1的卷积核组合代替。例如，当n为3时 在网络低层使用这个方法不好，在
第十七节，深度学习模型的训练技巧-优化卷积核，多通道卷积
weixin_30730151的博客
05-05 340
在使用卷积神经网络时，我们也总结了一些训练技巧，下面就来介绍如何对卷积核进行优化，以及多通道卷积技术的使用。 一 优化卷积核 在实际的卷积训练中，我了加快速度，常常把卷积核裁开。比如一个3x3的卷积核，可以裁成一个3x1和1x3的卷积核(通过矩阵乘法得知)，分别对原有输入做卷积运算，这样可以大大提升运算的速度。 原理：在浮点运算中乘法消耗的资源比较多，我们目的就是尽量减少乘法运算。 ...
CNN实战指南：卷积神经网络的原理与应用
在深度学习的众多分支中，卷积神经网络（Convolutional Neural Networks, CNN）是图像处理领域中最为关键的技术之一。它通过模拟人类视觉系统的工作方式，能够在没有人工干预的情况下自动提取图像特征，并以此来进行...
【深度视觉】第三章：卷积网络诞生前：卷积、边缘、纹理、图像分类等
因为热爱所以坚持
01-20 1766
五、卷积网络诞生前：卷积、边缘、纹理、图像分类、卷积核的设计等 前面第一章里面，已经讲过一点机器视觉的诞生史，但那都太久远，我觉得非常有必要把近期视觉发展的研究成果，也聊清楚，这对深入理解卷积网络是如何工作的非常有意义。 在计算机视觉中，我们要处理图片就意味着，我们只要改变像素的取值即可改变图片。而如果我们要让计算机从图片中获取人类的语义信息，就需要计算这些图片的数字，并从中发现和提取数值规律，来解释和跨越人类和计算机之间的“语义鸿沟”，也就是要建立从像素到语义的映射关系。 而这个问题的难点在于：比如
卷积核详解
培根芝士的专栏
09-18 993
卷积核（Convolution Kernel），简单来说，就是在进行图像处理或信号处理时，用来“扫描”或“滑动”过原始数据（比如一张图片）的一个小型矩阵。这个矩阵里面包含了一些数值，这些数值在滑动过程中与原始数据对应位置的数值进行特定的数学运算（通常是乘法后求和），从而生成新的数据或特征。
深入理解CNN：卷积神经网络在图像处理中的应用
卷积神经网络（Convolutional Neural Network，简称CNN）是一种在图像识别和处理领域中广泛使用的深度学习模型。它模拟了人类视觉系统的结构，通过学习大量的图像数据，能够自动并有效地提取图像特征。 ## CNN的...
二维图像处理中的可分离卷积核
贾路飞的博客
07-11 5278
本文参考书籍《Opencv算法精解》，作者：张平 可分离卷积核的定义 如果一个卷积核至少由两个尺寸比它小的卷积核full卷积而成，并且在计算过程中在所有边界处均进行扩充零的操作，且满足 其中的尺寸比小，，则称该卷积核是可分离的。 在二维图像处理中经常将一个卷积核分为一维水平方向和一维垂直方向上...
可分离卷积核
吃葡萄不吐葡萄皮
11-15 459
在图像处理中，卷积操作是一种常用的技术，可分离卷积核（Separable Convolution Kernel）是一种特殊类型的卷积核，其可以分解成水平和垂直两个单独的核函数，这种分解使得卷积计算变得更加高效。
深度学习：卷积核的训练
m0_60341379的博客
10-10 1966
...
卷积核和学习和训练
qq_34144750的博客
12-29 711
如果我们已知原始的图像数据，和这个图像经过某个卷积核计算后，得到的新的数据，那么如何计算出这个卷积核中的具体参数呢？例如，已知输入图像是12*12的，经过某个3*3的卷积核，得到的输出数据是10*10的。那么如何求出，这个卷积核中的9个参数呢？可能有的同学知道，中间的这个卷积核，其实是一个，也就是中间是8，周围是-1的，3乘3数组。我们接下来要做的是，使用pytorch框架，通过梯度下降算法，基于输入和输出数据，训练出这个。
卷积拆分与分组卷积的典型代表网络的总结
YOULANSHENGMENG的博客
11-05 5457
1，卷积常规参数计算 2 ，什么是卷积拆分 一个多通道的普通2D卷积包含了三个维度，分别是通道，长，宽，如下图(a)。 然后将这个卷积的步骤分解为3个独立的方向[1]，即通道方向，X方向和Y方向，如上图(b)，则具有更低的计算量和参数量。 假如X是卷积核宽度，Y是卷积核高度，C是输入通道数，如果是正常的卷积，那么输出一个通道，需要的参数量是XYC，经过上图的分解后，参数量变为X+Y+C，一般来说C>>X和Y，所以分解后的参数对比之前的参数约为1/(XY...
NLP实践-Task7
伽音的博客
03-14 577
任务链接：https://wx.zsxq.com/dweb/#/index/222248424811 1.卷积 参考链接：https://zhuanlan.zhihu.com/p/57575810 1.1卷积 卷积：图像中不同数据窗口的数据和卷积核（一个滤波矩阵）作内积的操作叫做卷积。其计算过程又称为滤波，本质是提取图像不同频段的特征。 卷积核：也称为滤波器filter，带着一组固定权重的...
深度学习训练之卷积核参数初始化（Constant、Random、Xavier、Kaiming）系统详细总结
热门推荐
qq_23022733的博客
04-22 1万+
文章目录1、卷积核Constant参数初始化2、卷积核参数随机（random）初始化2.1 随机分布的参数初始化2.2 正态分布的参数初始化3、卷积核参数Xavier初始化 1、卷积核Constant参数初始化 就是对前向计算卷积核的参数初始化，Constant就是一个简单的初始化，就是把卷积核的参数设置为常数，API（pytorch）如下： torch.nn.init.constant_(tensor, val) # val：自己设置的常数 torch.nn.init.ones_(tensor) #
[模型压缩/加速]-加速卷积计算的三种方法-Depth-wise Conv、Group Conv、Channel-wise Conv
ai_faker的博客
11-03 6009
1.概念简介 假设输入尺寸大小为aa、通道 为n，输出通道数为m，卷积核大小为bb，步长为1.那么 计算量为 FLOPs = a * a * n * m * b * b 参数量为 b * b * n * m 这就是传统卷积的计算方式，可以看到，当a、b、n、m相对较大的时候，造成的计算量是非常大的，所以就有降低模型大小与计算量的需要。 2.Depth-wise Conv 出自论文《MobileNets: Efficient Convolutional Neural Networks for Mobile V
CNN卷积神经网络里面的卷积核，权重，偏置具体是如何实现的
03-17
<think>好的，我现在需要帮助用户理解CNN中卷积核、权重和偏置的具体实现方式。首先，我得回顾一下CNN的基础知识，确保自己的理解正确。用户提到的引用[1]和[2]提供了部分背景，比如CNN的结构特点，权值共享，以及FPGA实现中的卷积核和偏置。接下来，我需要分解问题，逐步解释这三个要素的实现过程。 首先，卷积核的实现。卷积核本质上是权重矩阵，用于提取特征。在训练过程中，这些权重通过反向传播和梯度下降进行更新。需要说明卷积核的初始化和更新机制，可能还要提到不同框架中的具体实现方式，比如TensorFlow或PyTorch中的卷积层定义。 然后是权重的部分。这里可能要注意区分卷积核作为权重的一部分，以及全连接层中的权重。不过在CNN中，卷积层的权重主要就是卷积核的参数。需要解释这些权重如何存储，如何在计算中应用，比如通过滑动窗口与输入数据进行卷积操作。 接下来是偏置的实现。每个卷积核通常会有一个偏置项，加到卷积结果上。要说明偏置的作用，比如调整输出值的分布，增强模型的表达能力。在代码实现中，偏置通常作为一个可学习的参数，初始化为零或小随机数，并在训练过程中更新。 然后，具体实现细节可能需要涉及前向传播和反向传播的过程。前向传播中，输入数据与卷积核进行卷积运算，加上偏置，然后通过激活函数。反向传播时，计算梯度并更新权重和偏置。这部分可能需要用数学公式表达，比如卷积操作的数学表示，梯度下降的更新公式。 还需要考虑实际代码的例子，比如用PyTorch或TensorFlow展示如何定义卷积层，如何查看权重和偏置的参数。例如，在PyTorch中，使用nn.Conv2d会自动初始化权重和偏置，用户可以通过.weight和.bias属性访问这些参数。 另外，用户提到的引用[2]提到基于FPGA的实现，其中卷积核和偏置是通过训练得到的，后面会加到结果中。这可能涉及到硬件实现中的参数存储和计算优化，但用户可能更关注算法层面的实现，所以可以简要提及，但重点放在软件框架中的实现方式。 需要注意用户可能混淆权重和卷积核的概念，需要明确卷积核本身就是权重矩阵，而偏置是额外的参数。同时，要强调权值共享的概念，即同一卷积核在整个输入上滑动，共享相同的权重，这减少了参数数量，是CNN的优势之一。 最后，生成相关问题时要围绕实现细节、参数更新、具体代码示例、数学原理等方面展开，确保问题能够帮助用户进一步深入理解。</think>### 卷积核、权重和偏置在CNN中的具体实现方式 #### 1. **卷积核的实现** 卷积核（也称为滤波器）是CNN的核心组件，本质是一个可学习的权重矩阵。其实现过程包括： - **初始化**：卷积核的权重通常使用随机初始化（如高斯分布或Xavier初始化），例如在PyTorch中，使用`nn.Conv2d(in_channels, out_channels, kernel_size)`定义卷积层时，权重会自动初始化[^2]。 - **运算过程**：输入数据与卷积核进行**滑动窗口点积运算**，公式为： $$ \text{Output}(i,j) = \sum_{m=0}^{k-1} \sum_{n=0}^{k-1} \text{Input}(i+m, j+n) \cdot \text{Kernel}(m, n) + b $$ 其中$k$为卷积核尺寸，$b$为偏置。 - **参数更新**：通过反向传播计算梯度，利用优化器（如SGD、Adam）更新权重[^1]。 #### 2. **权重的存储与共享** - **权值共享**：同一卷积核在输入的不同位置共享相同的权重，极大减少了参数量。例如，一个$3 \times 3$的卷积核仅需9个参数，无论输入尺寸如何[^1]。 - **存储结构**：在代码中，权重以多维张量形式存储。例如，`out_channels`个卷积核的权重张量维度为`(out_channels, in_channels, kernel_height, kernel_width)`（以PyTorch为例）。 #### 3. **偏置的作用与实现** - **功能**：偏置为每个卷积核的输出添加一个常数偏移，增强模型表达能力。 - **初始化与更新**：偏置通常初始化为0或小随机数，训练过程中与权重同步更新。例如，在TensorFlow中，可通过`tf.keras.layers.Conv2D(use_bias=True)`启用偏置[^2]。 #### 4. **代码示例（PyTorch）** ```python import torch.nn as nn # 定义卷积层：输入通道3，输出通道64，卷积核3x3，包含偏置 conv_layer = nn.Conv2d(in_channels=3, out_channels=64, kernel_size=3, bias=True) # 前向传播 input_tensor = torch.randn(1, 3, 32, 32) # 输入尺寸(Batch, C, H, W) output = conv_layer(input_tensor) # 查看权重和偏置 print("卷积核权重维度:", conv_layer.weight.shape) # (64, 3, 3, 3) print("偏置维度:", conv_layer.bias.shape) # (64,) ``` #### 5. **数学视角的梯度更新** 假设损失函数为$L$，卷积核权重为$W$，偏置为$b$，学习率为$\eta$，则更新过程为： $$ W \leftarrow W - \eta \cdot \frac{\partial L}{\partial W}, \quad b \leftarrow b - \eta \cdot \frac{\partial L}{\partial b} $$ ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值