浅 CNN 中激活函数选择、 kernel大小以及channel数量

最新推荐文章于 2025-05-22 09:53:47 发布
原创 最新推荐文章于 2025-05-22 09:53:47 发布 · 6.2k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了在经典LeNet模型上使用不同激活函数（如ReLU与sigmoid）对MNIST数据集识别效果的影响，发现适当的选择对提升模型性能至关重要。此外，文章还分析了卷积核大小与通道数量对模型训练结果的具体作用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Activation function

当用经典的 LeNet 进行 MNIST 识别训练时，我发现将 sigmoid 函数改为 ReLu，同时降低学习率（防止 dying neurons）并没能加快 SGD 收敛，反而使得 accuracy 的提升变得非常缓慢。所以这样看来，当 CNN 没有深到极易发生 gradient vanishing 时，sigmoid 或者 tanh 依然是首选。

Kernel size

关注的 feature 比较细微时宜用小 kernel，反之 kernel 尺寸可以大一些。在这个实验中，采用 5x5 的 kernel 效果要比 3x3 的要差。

Channel number

最让我意外的就是 channel 数量对训练结果的影响。我之前一直以为提升 channel 数量可以获得图像中更多模式信息，从而提高模型效果。也就是觉得 channel 越多越好。但是这个实验中我把每层的 channel 数都提高了一倍，accuracy 却大幅降低。可见神经网络设计还是要具体问题具体分析。。。

计算机视觉卷积神经网络CNN架构设计指南：如何构建高效的视觉模型？
优快云博客专家，系统架构师，有合作、疑惑请私信博主。
04-20 11万+
计算机视觉CNN架构设计指南：如何构建高效的视觉模型？人工智能、大模型、AI、计算机视觉领域，卷积神经网络（Convolutional Neural Network，CNN）已成为主导性的模型架构。从图像分类到目标检测，从语义分割到图像生成，CNN 展现出了强大的性能。构建一个高效的 CNN 视觉模型，不仅需要对其基本原理有深入理解，还需要掌握一系列架构设计技巧。本文将详细探讨如何构建高效的 CNN 视觉模型，涵盖从基础概念到复杂架构设计的各个方面，并通过丰富的代码示例帮助读者更好地理解和实践。
YOLOv5 网络组件与激活函数 代码理解笔记
黎国溥
12-19 5821
前言 最近在看YOLOv5 第6个版本的代码，记录了一下笔记，分享一下。首先看了网络结构、网络组件，对应代码models\common.py。然后看了激活函数，对应代码utils\activations.py。 目录 【1】python 把if 写在一行的两种方式 【2】Python isinstance() 函数 【3】python - 理解python嵌套一行for循环 【4】python 单斜杠/和双斜杆//的区别 【5】in的详解 【6】group convolution (分组
【CNN】理解卷积神经网络中的通道 channel
热门推荐
scxyz的博客
04-04 13万+
在深度学习的算法学习中，都会提到 channels 这个概念。在一般的深度学习框架的 conv2d 中，如 tensorflow 、mxnet ，channels 都是必填的一个参数。 channels 该如何理解？先看一看不同框架中的解释文档。 首先，是 tensorflow 中给出的，对于输入样本中 channels 的含义。一般的RGB图片，channels 数量是 3 （红、绿、蓝）...
python内核大小_关于keras.layers.Conv1D的kernel_size参数使用介绍
weixin_39829497的博客
12-17 2249
今天在用keras添加卷积层的时候，发现了kernel_size这个参数不知怎么理解，keras中文文档是这样描述的：kernel_size: 一个整数，或者单个整数表示的元组或列表， 指明 1D 卷积窗口的长度。又经过多方查找，大体理解如下：因为是添加一维卷积层Conv1D()，一维卷积一般会处理时序数据，所以，卷积核的宽度为1，而kernel_size就是卷积核的长度了，这样的意思就是这个卷积...
一文读懂|CNN卷积神经网络:从基本概念、模型定义、训练、验证全流程指南
最新发布
Gupao123的博客
05-22 1428
卷积神经网络（CNN）受到人类视觉皮层的启发，在从结构化网格数据（如图像）中提取特征的空间层次结构方面特别有效。图像自然地被表示为多维阵列-通常是具有对应于高度、宽度和颜色通道的维度的3D张量（例如，红色、绿色和蓝色）。这种结构化表示使图像成为CNN的理想候选者，CNN利用卷积运算来有效地处理输入数据的局部区域。img尺寸为4x 4x 3的红绿蓝（RGB）图像的3D张量。与将输入数据视为平面向量的传统神经网络不同，CNN通过应用在图像上滑动的过滤器（或内核）来保留数据中的空间关系。
神经网络：CNN中的filter，kernel_size，strides，padding对输出形状的影响
weixin_44116706的博客
06-09 4620
输入数据在经过卷积层后，形状一般会发生改变，而形状的变化往往与以下三个超参数有关。
搭建网络时设置kernel_size，stride，padding的设置
weixin_42433234的博客
02-19 5778
搭建网络时设置kernel_size，stride，padding的设置
最大池化：选择kernel_size为3x3而不是2x2的原因
计算机视觉
10-25 4085
https://blog.youkuaiyun.com/tigerda/article/details/78800552 ●Theano中对Max-pooling的解释 Max-poolingisusefulinvisionfortworeasons: 1、Byeliminatingnon-maximalvalues,itreducescomputationforupp...
Unet 改进：替换不同的激活函数
Henry的博客
02-05 190
1. Unet1. UnetUnet网络是一种用于图像分割的深度学习网络模型Unet的全称为U-shaped Network，因其网络结构呈U字形而得名。Unet网络在图像分割任务中表现出色，特别是在医学图像处理领域得到了广泛应用，如肿瘤分割、器官分割等。：负责将输入图像逐步降采样，提取图像的高级特征。编码器部分由多个下采样模块组成，每个下采样模块通常包含两个卷积层和一个最大池化层。卷积层用于提取特征，而最大池化层则用于减小特征图的尺寸，同时增加特征图的通道数。
AIGC实战——像素卷积神经网络(PixelCNN)
盼小辉丶的博客
01-17 7464
在本节中，介绍了如何使用 PixelCNN 以自回归的方式生成图像，使用 Keras 构建 PixelCNN 模型，实现掩码卷积层和残差块，以便信息可以在网络中传递，只有前面的像素可以用于生成当前的像素。最后，使用 TensorFlow Probability 库提供的 PixelCNN 函数，该函数使用混合分布作为输出层，从而能够进一步改善学习过程。
CNN中卷积池化层tensorflow内置函数参数的实际含义及作用
shulixu的博客
05-15 3870
前段时间亲手搭建了CNN模型，使用tensorflow的许多内置函数时其中的参数数值都是借鉴别人的配置，对其中道理并不了解。昨天和mentor sync的时候真的觉得好惭愧，知其然不知其所以然一问就尴尬==这篇文章总结一下这些参数的含义和设置吧~ 1. 卷积层和input的channel 在CNN中，想搞清楚每一层的传递关系，主要就是height,width和channels的变化情况...
卷积神经网络CNN代码解析
06-01
这是一份对最基本CNN代码的很详细很详细解析，特别适合CNN刚入门的同学。
cnn卷积核channel，数量，1*1卷积核降维原理
m0_55392122的博客
05-08 3282
卷积核channel和数量的区别cnn卷积channel1.filter的channel=输入图像的channel 2.filter的个数=输出图像的channel1×1\times1×1卷积降维tensorflow cnn卷积 众所周知，cnn最重要的就是卷积层和池化层，对于卷积层中，通过使用卷积核与原图像进行卷积操作，降低数据量方便计算。卷积操作为： 通过上述操作可以使大家清晰的看到卷积操作，但是卷积核的处理非常重要，那么卷积核的channel以及个数有什么区别呢？以下是我通过借阅别的大佬的博客做出如
卷积操作之超参数
m0_51200050的博客
07-03 2141
决定了卷积核的尺寸，从而影响卷积操作的感受野大小。确定输入图像的通道数，影响卷积层如何处理输入数据。决定输出特征图的数量，从而影响网络提取特征的能力。
五、卷积神经网络CNN2（卷积基本定义与类型）
myani的博客
05-09 3111
卷积的几个基本定义 卷积核大小（Kernel Size）: 卷积核的大小定义了卷积的视图范围。二维的常见选择大小是3，即 3×3像素。 卷积核的步长（Stride）: Stride 定义了内核的步长。虽然它的默认值通常为 1，但我们可以将步长设置为 2，然后对类似于 MaxPooling 的图像进行向下采样。 边缘填充（Padding）: Padding 用于填充输入图像的边界。一个(半)填充的卷积将使空间输出维度与输入相等，而如果卷积核大于 1，则未被填充的卷积将会使一些边界消失。 输入和输出通道
关于CNN卷积的一些知识
qq_53474200的博客
06-08 688
问题最开始出现在某篇论文中写的The Transformer Architecture部分的不理解，具体内容如下这段中，提到了:在这篇论文中采用卷积神经网络获取输入图像的特征图因为看这篇文章之前，对于CNN不是很了解，所以对于这些参数以及具体的工作原理都不清楚，于是看了李宏毅老师的机器学习课程，（简化版）学习笔记如下：课程链接附上：李宏毅机器学习 ①在CNN中，有很多神经元（Neuron）,每一个神经元需要关注的区域叫receptive field，它的高和宽就叫做kernel_size(也就是等于卷积核的
CNN学习总结
weixin_43744594的博客
06-14 832
pytorch应用 1.con1d 应用于文本数据，只对宽度进行卷积。如下图所示，max_length=7，word_embedding_dim=5，在使用con1d时，我们需要将75的permute成57的，因为con1d只会对文本数据的最后一维进行卷积，也就是说卷积窗口的高度等于word_embedding_dim，只会在宽度max_length方向上滑动。 torch.nn.Conv1d(in_channels, out_channels, kernel_size, stride=1, paddin
tensorflow框架下，CNN中关于卷积核(kernel)、过滤器(filter)、通道(channel)、特征图(feature map)的概念解释，附带张量、卷积的解释
qq_43320208的博客
12-05 8127
tensorflow框架下，CNN中关于卷积核(kernel)、过滤器(filter)、通道(channel)、特征图(feature map)的概念解释，附带张量、卷积的解释
卷积核大小、个数，卷积层数是如何确定的 ？
qq_42414972的博客
07-02 3万+
Kernel_size是如何选取的？ Q: 为什么CNN中的卷积核一般都是奇数*奇数 ？ A: 原因有二。（1） 卷积中有一种same convolution，也就是卷积前后尺寸（高x宽）不变。实现same convolution（n + padding - k + 1 = n） 。若 k 为偶数，那么padding就为奇数，就不能平均分配到卷积张量两边。（2）此外，奇数尺寸的卷积核便于用中心定位。 达到相同感受野的情况下，卷积核越小，所需要的参数和计算量越小。所以2×2排除了，一般都用3×3作.
cnn kernel 1
03-12
<think>好的，用户想了解CNN中kernel size为1的用途和效果。首先，我需要回忆一下卷积神经网络的基础知识。1x1卷积核，虽然看起来很小，但在CNN中确实有重要的作用。比如，Inception网络和ResNet中都广泛使用了1x1卷积。 首先，1x1卷积的主要作用之一是调整通道数。传统的卷积核通常会在空间维度上进行操作，比如3x3或5x5的卷积，但1x1卷积只在通道维度上进行线性组合。这意味着它不会改变特征图的高度和宽度，但可以增加或减少通道数。例如，如果输入是256个通道，通过1x1卷积可以将其压缩到64个通道，从而减少参数和计算量。这在GoogLeNet的Inception模块中被用来降维，减少计算成本，同时保持网络的深度和表达能力[^1]。 接下来是参数和计算效率。1x1卷积的参数数量相对较少。比如，输入通道为C_in，输出通道为C_out，那么参数数量就是C_in * C_out * 1 * 1。而一个3x3的卷积则需要C_in * C_out * 3 * 3的参数。因此，使用1x1卷积可以在不显著增加参数的情况下调整通道数，这对于构建更深的网络结构非常重要，尤其是在移动端或资源受限的环境中。 然后是非线性增强。虽然1x1卷积本身是线性的，但通常后面会接一个非线性激活函数，如ReLU。这样可以在保持特征图空间结构不变的同时，引入更多的非线性变换，增强模型的表达能力。例如，在ResNet的残差块中，1x1卷积用于调整通道数，同时配合激活函数来提升网络的非线性能力。 此外，1x1卷积还可以用于全连接替代。在NiN（Network in Network）中，1x1卷积被用来替代全连接层，通过全局平均池化后接1x1卷积来实现分类，这样可以减少参数数量，防止过拟合。这种方法在网络末端的全连接层中特别有效，尤其是在处理高维特征时。 跨通道信息交互也是1x1卷积的重要作用。虽然它不涉及空间信息的整合，但可以在通道间进行信息融合，类似于全连接层在通道上的操作。这使得网络能够学习到不同通道之间的相关性，提升特征组合的灵活性。例如，在SENet中，通过1x1卷积来生成通道注意力权重，从而增强重要通道的特征响应。 在实际应用中，1x1卷积常被用于构建瓶颈结构（Bottleneck）。比如，ResNet中的残差块先使用1x1卷积降维，再进行3x3卷积，最后再用1x1卷积升维。这种方式有效减少了中间层的计算量，同时保持了模型的性能。例如，ResNet-50中的Bottleneck结构就大量使用了1x1卷积来优化计算效率。 不过，需要注意的是，虽然1x1卷积在通道调整上非常有效，但它无法捕捉空间特征之间的关系，因为其感受野仅为1x1。因此，在需要空间上下文信息的任务中，仍需结合更大的卷积核或使用其他结构（如空洞卷积）来扩大感受野。 总结一下，1x1卷积在CNN中的主要用途包括通道数调整、参数效率、非线性增强、跨通道交互以及构建瓶颈结构。这些应用使得1x1卷积成为现代CNN设计中不可或缺的组件，特别是在需要平衡模型复杂度和性能的场景下。 接下来，用户可能会想知道如何具体实现1x1卷积层，或者在不同框架中的代码示例。此外，可能还会关心与其他卷积核大小的对比，或者在实际任务中的应用案例。需要准备回答相关问题，并提供具体的例子或引用。</think>在卷积神经网络（CNN）中，kernel size为1（即$1 \times 1$卷积核）具有独特的功能和效果，以下是其核心用途和影响的总结： --- ### **1. 通道数调整（Channel Manipulation）** - **作用**：$1 \times 1$卷积核不改变特征图的空间尺寸（高度和宽度），但可以改变通道数。例如，若输入特征图有$C_{\text{in}}$个通道，通过$1 \times 1$卷积可将其映射为$C_{\text{out}}$个通道。 - **公式**： $$ \text{输出通道数} = C_{\text{out}}, \quad \text{参数数量} = C_{\text{in}} \times C_{\text{out}} \times 1 \times 1 $$ - **应用场景**：在Inception网络中被用于降维或升维，减少计算量[^1]。 --- ### **2. 参数与计算效率** - **参数对比**：与$3 \times 3$卷积相比，$1 \times 1$卷积的参数数量减少为$\frac{1}{9}$，适合构建轻量级网络。 - **计算成本**：假设输入尺寸为$H \times W \times C_{\text{in}}$，计算量为： $$ H \times W \times C_{\text{in}} \times C_{\text{out}} $$ 远低于大卷积核。 --- ### **3. 非线性增强** - **实现方式**：在$1 \times 1$卷积后添加非线性激活函数（如ReLU），可在不改变空间结构的情况下引入非线性。 - **效果**：增强网络表达能力，例如ResNet中通过$1 \times 1$卷积调整残差分支的通道数。 --- ### **4. 跨通道信息交互** - **特征融合**：$1 \times 1$卷积可整合不同通道的信息，类似全连接层在通道维度的操作。 - **示例**：在SENet中，通过$1 \times 1$卷积生成通道注意力权重。 --- ### **5. 全连接替代与分类** - **替代全连接层**：在全局平均池化后，使用$1 \times 1$卷积替代全连接层进行分类（如NiN网络），减少参数量并防止过拟合。 --- ### **实际应用案例** - **Bottleneck结构**：ResNet中通过$1 \times 1$卷积压缩和恢复通道数，例如： ```python # ResNet的Bottleneck块示例 def bottleneck_block(x, filters): x = Conv2D(filters, (1,1), activation='relu')(x) # 降维 x = Conv2D(filters, (3,3), padding='same', activation='relu')(x) x = Conv2D(4*filters, (1,1))(x) # 升维 return x ``` - **轻量化设计**：MobileNet使用$1 \times 1$卷积调整通道数，配合深度可分离卷积降低计算成本。 --- ### **注意事项** - **空间信息缺失**：$1 \times 1$卷积无法捕捉局部空间关系，需配合其他卷积核使用。 - **依赖通道相关性**：其效果高度依赖于通道间的线性组合能力。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值