CNN系列框架

原创 已于 2023-10-11 15:03:08 修改 · 3k 阅读 · 11 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#cnn #计算机视觉 #深度学习

于 2021-11-09 20:24:26 首次发布

深度学习的思想被提出后, 卷积神经网络在计算机视觉等领域取得了快速的应用, 有很多经典、有意思的网络框架也应然而生.

1. LeNet-5

LeNet-5卷积网络是由LeCun在1998年发表的《Gradient-Based Learning Applied to Document. Recognition》中提出的网络框架. 这是最早的一类卷积神经网络, 其在数字识别领域的应用方面取得了巨大的成功 (手写字体识别).
在这里插入图片描述

在LeNet-5中, 输入为 32×3232 \times 3232×32 的灰度图像, 经过两个卷积层、两个池化层以及两个全连接层, 最后连接一个输出层.
LeNet-5的第一层使用了 666 个 5×55 \times 55×5 的卷积核对图像进行卷积运算, 且在卷积操作时不使用填补操作, 这样针对一张 32×3232 \times 3232×32 的灰度图像会输出 666 个 28×2828 \times 2828×28 的特征映射. 第二层为池化层, 使用 2×22 \times 22×2 的池化核, 步长大小为 222 ,从而将 666 个 28×2828 \times 2828×28的特征映射转化为 666个 14×1414 \times 1414×14 的特征映射, 该层主要是对数据进行下采样. 第三层为卷积层, 有 161616 个大小为 5×55 \times 55×5的卷积核, 同样在卷积操作时不使用填补操作, 将 666 个 14×1414 \times 1414×14 的特征映射卷积运算后输出为 161616 个 10×1010 \times 1010×10 的特征映射. 第四层为池化层, 使用大小为 2×22 \times 22×2 的池化核, 步长为 222 ,从而将 161616 个 10×1010 \times 1010×10 的特征映射转化为 161616 个 5×55 \times 55×5 的特征映射. 第五和第六层均为全连接层, 且神经元的数量分别为 120120120 和 848484. 最后一层为包含 101010 个神经元的输出层.

2. AlexNet

2012年, AlexNet卷积神经网络结构被提出, 并且以高于第二名 10%10 \%10% 的准确率在2012届ImageNet图像识别大赛中获得冠军, 成功地展示了深度学习算法在计算机视觉领域的威力, 使得CNN成为图像分类上的核心算法模型, 引爆了深度神经网络的应用热潮.
AlexNet模型是一个只用了 888 层的卷积神经网络, 有 555 个卷积层、 333 个全连接层, 在每一个卷积层中包含了一个激活函数ReLU (首次应用) 以及局部相应归一化 (LRN) 处理, 卷积计算后通过最大值池化层对特征映射进行降维处理.
AlexNet的网络结构在设计之初是通过两个GPU进行训练的, 所以其结构中包含两块GPU通信的设计. 但是随着计算性能的提升, 现在完全可以使用单个GPU进行训练.
在这里插入图片描述

AlexNet网络中输入大小为 227×227227 \times 227227×227 的RGB三通道图像, 在图中 s=4s=4s=4 表示卷积核或者池化核的移动步长为 444 , 在AlexNet中卷积层使用的卷积核从 111111 逐渐减小到 333 , 最后三个卷积层使用的卷积核为 3×33 \times 33×3 , 而池化层则使用了大小为 3×33 \times 33×3 , 步长为 222 , 有重叠的池化, 两个全连接层分别包含 409640964096 个神经元, 最后的输出层使用softmax分类器, 包含 100010001000 个神经元.

3. VGG-Nets

VGG-Nets是由牛津大学计算机视觉组 (Visual Geometry Group) 与2014年提出, 并取得了ILSVRC2014比赛分类项目的第二名. 在其发表的文章《Very Deep Convolutional Networks for Large-Scale Image Recognition》中, 一共提出了四种不同深度层次的卷积神经网络.
在这里插入图片描述
conv3-64表示使用 646464 个 3×33 \times 33×3 的卷积核, maxpool表示使用 2×22 \times 22×2 的最大值池化, FC-4096表示具有 409640964096 个神经元的全连接层.
其中最常使用的VGG网络结构分别是VGG16 (type D) 和VGG19 (type E).
在VGG-Nets中, 通过使用多个较小卷积核 (3×3)( 3 \times 3)(3×3) 的卷积层, 来代替一个卷积核比较大的卷积层. 小卷积核是VGG的一个重要特点, VGG的作者认为 222 个 3×33 \times 33×3 的卷积堆叠获得的感受野大小相当于一个 5×55 \times 55×5 的卷积; 而 333 个 3×33 \times 33×3 卷积的堆叠获取到的感受野相当于一个 7×77 \times 77×7 的卷积. 使用小卷积核一方面可以减少参数, 另一方面相当于及逆行了更多的非线性映射, 可以进一步增加网络的拟合能力.

相比AlexNet使用 3×33 \times 33×3 的池化核, 在VGG-Nets总全部采用 2×22 \times 22×2的池化核. 并且VGG-Nets 中具有更多的特征映射, 网络第一层的通道数为 646464 , 后面每层都进行了翻倍, 最多到 512512512 个通道, 随着通道数的增加, 使得VGG-Nets能够从数据中提取更多的信息. 并且VGG-Nets具有更深的层数, 得到的特征映射更宽.

4. GoogLeNet

GoogLeNet最早出现在2014年的《Going deeper with convolutions》, 取得了ILSVRC2014比赛分类项目的第一名. GoogLeNet共有 222222 层, 并且没有用全连接层, 所以使用了更少的参数, 在GoogLeNet前的AlexNet、VGG等结构, 均通过增大网络的层数来获得更好的训练结果, 但更深的层数同时会带来较多的负面效果, 如过拟合、梯度消失、梯度爆炸等问题.
在这里插入图片描述
GooLeNet则在保证算力的情况下增大网络的宽度和深度, 尤其是其提出的Inception模块.
在这里插入图片描述
在这里插入图片描述
在GoogLeNet中, 前几层中是正常的卷积层, 后面则全部用Inception堆叠而成. 在《Going deeper with convolutions》中给出了两种Inception模块, 分别是简单的Inception模块 (a)(a)(a) 和维度减小的Inception模块 (b)(b)(b) . 与简单的相比, 维度减小的Inception模块在 3×33 \times 33×3 卷积的前面、 5×55 \times 55×5 卷积前面和池化层后面添加 1×11 \times 11×1 卷积进行降维, 从而使维度变得可控并减少计算量.
在GoogLeNet中不仅提出了Inception模块, 还在网络中添加了两个辅助分类器, 起到增加地层网络的分类能力、防止梯度消失、增加网络正则化的作用.

5. ResNet

在介绍ResNet之前, 需要了解下残差学习的概念.

5.1 残差学习

通过实验发现, 深度网络出现了退化问题 (Degradation problem): 网络深度增加时, 网络准确度出现饱和, 甚至出现下降. 这个退化问题至少说明了深度网络不容易训练. 但是我们考虑这样一个事实: 现在你有一个浅层网络, 你想通过向上堆积新层来建立深层网络, 一个极端情况是这些增加的层什么都不学习, 仅仅复制浅层网络性能一样, 也不应该出现退化现象.

这个有趣的假设让 Dr. He 灵感爆发, 他提出了残差学习来解决退化问题. 对于一个堆积层结构, 当输入为 xxx 时其学习到的特征是 H(x)H(x)H(x), 现在我们希望其可以学习到残差 F(x)=H(x)−xF(x) = H(x) -xF(x)=H(x)−x, 这样其实原始的学习特征是 F(x)+xF(x) +xF(x)+x.之所以这样是因为残差学习相比原始特征更容易直接学习. 当残差为 000 时, 此时堆积层仅仅做了恒等映射, 至少网络性能不会下降, 实际上残差不会为 000, 这也会使得堆积层在输入特征基础上学习到新的特征, 从而拥有更好的性能. 残差学习的结构如下图所示. 有点类似于电路中的“短路连接”.
在这里插入图片描述
ResNet网络是参考了VGG19网络, 在其基础上进行了修改, 并通过短路机制加入了残差单元. 如下图所示在这里插入图片描述
变化主要体现在ResNet直接使用步长为 222 的卷积做下采样, 并且用global average pool层替换了FC层. ResNet的一个重要设计原则是: 当feature map 大小降到一半时, feature map的数量增加一倍, 这保持了网络层的复杂度. 从图中可以看出, ResNet相比普通网络每两层间增加了短路机制, 这就形成了残差学习, 其中虚线表示feature map数量发生了改变.

《深度学习入门与实践》
https://www.cnblogs.com/skyfsm/p/8451834.html
https://blog.youkuaiyun.com/shuzfan/article/details/50738394
https://zhuanlan.zhihu.com/p/31852747

【全网独家】OpenCV 深度学习与计算机视觉：卷积神经网络（CNN），物体检测（YOLO框架，R-CNN系列）
走向CTO的路上...
08-11 703
卷积神经网络是一种专为处理图像数据设计的深度学习模型，通过卷积操作提取图像的局部特征，适用于图像分类、目标检测等任务。本文详细介绍了 OpenCV 中使用卷积神经网络（CNN）和物体检测算法（如 YOLO 和 R-CNN 系列）的应用场景、原理和实现细节，并提供了具体的代码示例。此外，还展示了如何通过 Flask 应用部署和测试这些功能。
CNN框架介绍
09-15
神经网络与卷积神经网络 1.层级结构 2.数据处理 3.训练算法 4.优缺点 实际搭建与训练CNN 1.典型CNN搭建 2.训练与fine-tuning 简单实现与可视化
一文彻底搞懂CNN - 模型架构（Model Architecture）
2401_85377976的博客
08-24 4483
由输入层、卷积层、池化层以及全连接层组成，通过卷积操作提取图像特征，并通过池化减少参数数量，最终通过全连接层进行分类或回归。输入层：接收原始图像数据，可能需要进行预处理，如归一化、尺寸调整等。卷积层：通过一系列可学习的卷积核（或称为滤波器）对输入图像进行卷积操作，以提取图像中的局部特征。每个卷积核都会生成一个特征图（feature map），这些特征图共同构成了卷积层的输出。池化层：通常位于卷积层之后，用于对特征图进行下采样，以减少数据的空间维度和参数数量，同时保留重要特征。
经典的CNN网络发展
最新发布
m0_74854987的博客
07-10 1031
经典CNN网络学习笔记
【搬运】九大经典CNN框架汇总
Salmon_lee的博客
11-02 1202
详解深度学习之经典网络架构（十）：九大框架汇总_chenyuping333的博客-优快云博客 DenseNet算法详解_AI之路-优快云博客_densenet
卷积神经网络（CNN）的主要架构
彩旗工作室的博客
03-13 2414
卷积神经网络（CNN）不断演进，以提升深度、计算效率和适应性。早期架构奠定基础，随后引入更深层次网络、残差连接和轻量化设计，以提高性能并减少计算成本。近年来，研究重点转向自动优化 CNN 结构，如 EfficientNet 和 RegNet，以及结合 Transformer 设计优化 CNN，如 ConvNeXt。尽管 Transformer 逐渐崛起，CNN 仍在计算机视觉任务中占据重要地位，并持续优化以适应不同应用场景。
CS231n笔记八：CNN经典框架
weixin_55953478的博客
07-09 771
Smaller filters， Deeper networks. 1、VGGNet中用到的卷积核都是3 * 3的，尺寸非常小，为何？？？ 答：对于三个3 * 3的卷积核（步长为1），其感受野（effective respective field)和一个7 * 7的卷积核是一样的，都是7 * 7的感受野。但小卷积核可以使网络更深（本来一层7 by 7 layer，现在变成3层3 by 3 layers），这样可以有更多的非线性函数nonlinearity；同时小卷积核组合整体所需的参数比相同感受野的大卷积核
cnn训练代码.zip_CNN入门_CNN程序框架_detailbuu_matconvnet_matlab CNN
07-15
5. **matconvnet**：MATLAB的深度学习库，提供了一系列接口，方便用户构建、训练和测试CNN模型，无需深入底层实现细节。 6. **MATLAB**：一种广泛使用的编程环境，尤其在科学计算和工程领域，具有直观易用的特性。 ...
PyTorch框架下基于CNN的人脸识别方法研究.pdf
03-19
### PyTorch框架下基于CNN的人脸识别方法研究 #### 一、引言与背景 随着人工智能技术的迅速发展，卷积神经网络(Convolutional Neural Networks, CNN)作为一种高效的深度学习模型，在诸多领域中得到了广泛应用，...
第十五周周报：R-CNN系列
qq_52684249的博客
10-06 1003
本周主要学习了R-CNN的整个系列，详细学习了R-CNN、Fast R-CNN、Faster R-CNN的原理。本篇博客将会详细解释上述3个模型的异同，以及通过哪些方面的改进使初版R-CNN的检测速度越来越快的。同时会侧重介绍每个模型的特有模块，Faster R-CNN会有PyTorch代码实现。本周的学习到此结束，下周将继续SSD和YOLO模型的学习。
基于FPN的R2CNN检测框架实现介绍
R2CNN 的设计灵感来源于区域卷积神经网络（R-CNN）系列，它结合了特征金字塔网络（FPN）的结构，提供了更加强大和灵活的特征提取能力。 在介绍R2CNN之前，先简单了解一下FPN。FPN 是一种用于目标检测的网络架构，它...
python tensorflow CNN 框架
11-16
python tensorflow CNN 框架，包括Data Augmentation，Batch Normalization，Tensorflow的结果可视化等
tensorflow下编写CNN网络的框架
06-08
Windows下tensorflow-GPU-1.8的python下的CNN模板，内置的lenet-5模型，我特意把它修改成很容易换成别的网络模型，我是在官网的cifar-10代码的基础上进行改动，里面写了详细的中文注释，我还加上了获取混淆矩阵和分类错误图片的路径的功能，更加方便分析模型性能。
keras实现简单CNN框架（mnist数据）
02-22
基于python keras框架实现CNN框架，对mnist数据分类
CNN与常用框架
热门推荐
会思考的蜗牛
07-05 2万+
七月在线 5月深度学习班课程笔记——No.4　　 　　这一节内容比较丰富。主要介绍神经网络的每一个层级结构，理清楚每一层可能影响结果的参数，再介绍CNN的常用框架。1. 神经网络1.1 神经网络——是什么？　　神经网络没有一个严格的正式定义。它的基本特点，是试图模仿大脑的神经元之间传递，处理信息的模式。还是有些抽象，那么看看下面这张图。 　　 　　输入层和输出层之间有多个隐层hidden lay
【A-1】CNN与常用框架
小狐狸
08-28 1063
DNN 是深度神经网络，是一种统称 神经网络不需要提取特征，在前向传播当中，学习权重，完成直线之间的且操作和或操作 神经强大的原因在于： 不需要你手动提取特征，表征其在样本空间中的分布，神经网络可以自动学习它的空间分布，不管样本分布在那个角落和区域 CNN 卷积神经网络 在图像中特别强大 RGB在CNN中不需要提取特征，惹事直接输入RGB像素点参数。 归一化的目的是将数据在某一范围内...
CNN框架（LeNet,AlexNet,VGGNet,inception,GoogLeNet,ResNet)
Lahzylj的博客
07-07 598
CNN框架（LeNet,AlexNet,VGGNet,inception,GoogLeNet,ResNet)
CNN框架及实现
AI天才研究院
08-01 1986
2012年，Krizhevsky等人在NIPS大会上提出了卷积神经网络（Convolutional Neural Network）（CNN）框架。其后经过多年的发展，已经成为图像识别领域中的通用工具。近几年来，随着深度学习技术的进步，CNN模型的应用范围越来越广，各个领域也都在探索适合自己的CNN结构，如对象检测、人脸识别、文字识别等。本文将从CNN的基本知识、结构原理、结构实现三个方面进行介绍，并结合实际案例——图像分类和目标检测，给读者提供更加系统化的学习路径。
经典CNN网络框架解读
qq_35473884的博客
12-21 387
经典CNN-AlexNet解读
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值