笔记 - 卷积神经网络设计 理论部分（一）

最新推荐文章于 2025-02-11 21:11:23 发布
原创 最新推荐文章于 2025-02-11 21:11:23 发布 · 619 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入探讨卷积神经网络的设计，包括经典的LeNet、AlexNet、VGG、ResNet等，强调ReLU激活函数和dropout在防止过拟合中的作用。文章还讨论了轻量级网络如使用深度可分离卷积来减少参数和计算成本，并介绍了多分支卷积网络和度量学习中的注意力机制。最后，简述了模型压缩技术，如权重裁剪，以适应硬件限制。

思考

1. 卷积神经网络如何减少参数量和计算量
  • relu激活函数
  • dropout
  • 使用1×1卷积核进行减少参数量和计算量
  • 对标准卷积的拆分（使用深度可分离卷积）
2. 各类经典卷积网络的特点

3. 卷积计算量的计算

4. 注意区分1x1 PW conv 和 1x1 GConv

经典卷积网络

LetNet

在这里插入图片描述

通常 简单的分类网络结构：
输入 - 卷积池化（层数未定） - 全连接（层数未定） - 输出

AlexNet

在这里插入图片描述

两条分支是因为当时硬件资源有限，将网络分开上下两部分进行训练

在这里插入图片描述

  • Relu
1.计算速度更快 （相比于有指数运算的激活函数）
2. x>0部分不会出现梯度消失
3. 作为非饱和型函数，可以更好地表现出x对y的影响
  • LRN
局部归一化

不过听说作用不大，目前几乎不使用了
  • dropout
一般在全连接层使用

但听说也有在卷积层使用的，然后用贝叶斯进行解释

在这里插入图片描述

实验证明复杂模型的有效性

ZFNet

在这里插入图片描述

将AlexNet中 11×11的卷积核设置成7×7，4步长设置成2步长

用更小的卷积核以及更小的步长提取出了更好地特征

在这里插入图片描述

浅层特征 - 轮廓 纹理信息
深层特征 - 语义信息

VGG

在这里插入图片描述

80%的参数量集中在FC层

在这里插入图片描述

网络设计更规范化

最低0.47元/天 解锁文章
卷积神经网络架构设计
猫ER
04-25 663
import tensorflow as tf import get_Dataset x_train, y_train, x_test, y_test = get_Dataset.get_Dataset('mnist') batch_size = 100 def weight_init(shape): initial = tf.truncated_normal(shape, stdd...
设计卷积神经网络（Convolutional Neural Network, CNN）维度（全）
走向CTO的路上...
05-15 1074
算法实现包括创建CNN模型、定义卷积层和池化层的参数、设置损失函数和优化器，并进行训练和测试等步骤。设计CNN的维度包括输入数据的维度、卷积层的维度和池化层的维度等。未来，卷积神经网络的研究和应用仍将持续扩展。随着硬件计算能力的提升和数据集的增大，CNN模型的规模和复杂性将进一步增加。设计卷积神经网络的维度涉及输入数据维度、卷积层的参数和池化层的参数等。A：卷积神经网络使用卷积运算来提取数据中的局部特征，然后使用池化操作来缩减数据的大小，最后使用全连接层将卷积层提取的特征映射到最终的输出结果。
卷积神经网络各层的意义,什么是卷积神经网络?
aifamao6的博客
08-10 1228
卷积神经网络（ConvolutionalNeuralNetwork,CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。[1] 它包括卷积层(alternatingconvolutionallayer)和池层(poolinglayer)。卷积神经网络是近年发展起来，并引起广泛重视的一种高效识别方法。...
VAN(DWConv+DWDilationConv+PWConv)
weixin_45104951的博客
04-22 7522
1.引言 最初自注意力机制（self-attention）的提出是在NLP领域，但是由于其全局特征提取的能力，自注意力机制很快就席卷了CV领域。但是对于2D的图像，self-attention有以下不足：（1）将图像铺成1D序列损失了2D结构信息。（2）平方复杂度使得高分辨率的图片（如800*800）计算开销太大了。（3）仅仅提取了空间上的适应性，而忽视了通道channel维度的适应性。因此，基于LKA（Large Kernel Attention）提出一种新的网络架构VAN。尽管架构比较简单，就是D..
经典网络结构总结--MobileNet系列
a707931675的博客
07-12 7384
经典网络结构总结--MobileNet系列 MobileNet mobilenet是Google提出的。 优点：体积小，计算量小，适用于移动设备的卷积神经网络。 可以实现分类/目标检测/语义分割； 小型化： 卷积核分解，使用1xN和Nx1的卷积核替换NxN的卷积核。 采用bottleneck结构 ，以SqueezeNet为代表 以低精度浮点数保存，例如Deep Compression 冗余卷积核剪枝及哈弗曼编码。 mobilenet v1: 参考了传统的VGGNet等链式架构，都以层叠卷.
卷积神经网络结构设计,卷积神经网络参数设置
Supermen333的博客
08-19 2672
border_mode可以是valid或者full，具体看这里说明：.conv2d#激活函数用tanh#你还可以在(Activation('tanh'))后加上dropout的技巧: (Dropout(0.5))(Convolution2D(4, 5, 5, border_mode='valid',input_shape=(1,28,28))) (Activation('tanh'))#第二个卷积层，8个卷积核，每个卷积核大小3*3。二维数组可能包含多个通道；二维卷积神经网络的输入层接收二维或三维数组；
学习笔记：深度学习（3）——卷积神经网络（CNN）理论篇
热门推荐
Morganfs的博客
04-12 11万+
深度学习笔记——CNN卷积神经网络理论篇。主要包括CNN的概念、基本原理、类型综述。算是比较完善的一篇文章了。
深度学习第四课程笔记-卷积神经网络
Da_haihuang的博客
11-24 987
第三周参数调试       每个超参数如果设置得不好，都会对训练产生巨大的负面影响，而这些超参数有一个相对重要排名如下图： 学习率alpha，动量beta，Adam算法中的beta1，beta2，ε，层数layers，隐藏层数节点的数量hidden units，学习衰退率 learning rate decay，数据切分大小mini-batch size 等等。 其中学习率alpha是最重要的，其次动量beta，隐藏层数节点的数量hidden u
精选资源
卷积神经网络 深度学习笔记1
06-19
而卷积神经网络的设计初衷就是为了能够利用图像的空间层次结构，保留图片中的原始信息。 ### 局部感受野 局部感受野的概念是CNN的基石之一。与全连接层不同，CNN在每个卷积层中，只有输入数据的一小部分被用于计算...
花书 《深度学习》 学习笔记 卷积神经网络-理论基础
m0_52186223的博客
01-15 1121
什么是卷积？为什么使用卷积？卷积的优势的原理是什么？什么是可分离卷积？ 这篇笔记主要以花书为主，结合大佬的博客，力求从全局的角度学习。
卷积神经网络模型设计：深度、宽度、注意力、轻量化
Debroon
07-11 1165
对于一个具有C个输入通道和K个输出通道的卷积层，两个3x3的卷积核总共需要2CK个参数，而一个5x5的卷积核需要C*K个参数。通过堆叠多个3x3的卷积层，可以逐步增加卷积核对输入图像的感受野，从而提高对输入图像更大范围的特征提取能力。例如，Inception模块中的卷积层采用了不同大小的卷积核，并将它们的输出进行拼接，以获取多尺度的特征表示。应用ReLU激活函数。VGG16模型共包含13个卷积层和3个全连接层，其中卷积层都使用3x3的卷积核（卷积核变小），池化层使用2x2的最大池化操作（变小且偶数）。
卷积神经网络的基本操作,卷积神经网络卷积计算
神经网络爱好者
08-07 632
border_mode可以是valid或者full，具体看这里说明：.conv2d#激活函数用tanh#你还可以在(Activation('tanh'))后加上dropout的技巧: (Dropout(0.5))(Convolution2D(4, 5, 5, border_mode='valid',input_shape=(1,28,28))) (Activation('tanh'))#第二个卷积层，8个卷积核，每个卷积核大小3*3。且在一个通道内，所有神经元的权重系数相同。...
构建卷积神经网络（Convolutional Neural Network,CNN）
zhanlang619的博客
11-26 3202
本节重点讲解通过代码构建CNN，具体理论知识会在以后专栏讲解，在此不过多赘述。 卷积神经网络是一类在图像识别相关学习任务汇总非常有效神经网络。相比于人工神经网络，卷积神经网络可以最大限度地保留图像数据的原始空间信息。目前卷积神经网络已经被广泛应用于人脸识别、场景标签、图像分类、动作识别和文档分析等各种实际问题。除此之外，在自然语言处理领域的语音识别和文本分类问题上，卷积神经网络也被证明能够达到最佳的准确率。 卷积神经网络通常由三种层组成： 输入层 隐藏层 输出层 注：隐藏层包含卷积层、池化层和全连接层
卷积神经网络（CNN）设计与实现
weixin_35671843的博客
08-26 1405
本文还有配套的精品资源，点击获取 简介：卷积神经网络（CNN）是一种深度学习模型，因其在图像处理领域的卓越表现而广受欢迎。本课程设计项目经过测试，旨在帮助学生掌握CNN的架构和实现。通过实践任务，学生将学习CNN的核心组件，包括卷积层、池化层、激活函数和全连接层。此外，学生还将了解批量归一化、dropout、损失函数和优化器等正则化和训练技巧。通过完成本项目，学生将具备使用...
深度学习不再是炼丹术！谷歌给出首个神经网络训练理论证明
kwame211的博客
02-25 899
来源：arxiv,新智元 谷歌AI最新发布的一篇论文给出了首个关于深度神经网络训练相关的理论证明，实验观察结果也为初步解释梯度下降强于贝叶斯优化奠定了基础。神经网络的理论面纱，正逐步被揭开。 原来，神经网络实际上跟线性模型并没那么大不同！ 谷歌AI的研究人员日前在arxiv贴出一篇文章，给出了首个神经网络训练相关的理论证明。 实验中，他们将一个实际的神经网络训练过程与线性模型的训练过程...
卷积网络的设计
weixin_38740463的博客
05-03 1385
自从 2011 年深度卷积神经网络（CNN）在图像分类任务中优于人类开始，它们就成为了计算机视觉任务中的行业标准，这些任务包括图像分割、目标检测、场景标记、跟踪以及文本检测等等。 然而，训练神经网络的技巧并不容易掌握。与之前的机器学习方法一样，细节是最恐怖的地方，然而在卷积神经网络中有更多的细节需要去管理：你所用的数据和硬件的限制是什么？你应该以哪种网络作为开始呢？AlexNet、VGG、Goo...
改进卷积神经网络，你需要这14种设计模式(转载自机器之心微信号，mark一下当自己网络训练不好时可以看看)
u013818406的博客
04-16 2771
自从 2011 年深度卷积神经网络（CNN）在图像分类任务中优于人类开始，它们就成为了计算机视觉任务中的行业标准，这些任务包括图像分割、目标检测、场景标记、跟踪以及文本检测等等。 然而，训练神经网络的技巧并不容易掌握。与之前的机器学习方法一样，细节是最恐怖的地方，然而在卷积神经网络中有更多的细节需要去管理：你所用的数据和硬件的限制是什么？你应该以哪种网络作为开始呢？AlexNet
【直播】深度卷积神经网络模型设计技术
hacker_long的专栏
09-22 684
往后我们慢慢地会多做一些直播，平台就定在哔哩哔哩，这次是有三本周五直播的一个回放。文/编辑 | 言有三1 直播主题网络结构是深度学习成功的关键因素之一，不仅是非常重...
从0搭建卷积神经网络(CNN)--详细教学
最新发布
qq_61600833的博客
02-11 3055
卷积神经网络（CNN）是一种专门用于处理网格状数据（如图像、视频、音频）的深度学习模型。其核心思想是通过卷积操作自动提取数据的空间或时序特征，广泛应用于计算机视觉、自然语言处理等领域。经典CNN架构模型提出时间主要贡献应用场景LeNet-51998首个成功的手写数字识别CNNMNIST 分类AlexNet2012引入ReLU、Dropout，赢得ImageNet竞赛图像分类VGGNet2014深层的3x3卷积堆叠，结构简洁通用视觉任务ResNet2015残差连接解决深层网络梯度消失问题。
深度学习笔记：卷积神经网络基础
"这篇内容是关于卷积神经网络基础的学习笔记，主要涵盖了二维卷积层和池化层的概念，以及填充、步幅、输入通道和输出通道等关键参数的解释。作者提到了伯禹学习平台的《动手学深度学习》课程，认为其适合基础较弱的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值