深入探索卷积神经网络的进化，从经典架构到现代创新

你屎倒淋头还敢搅便

已于 2024-03-15 17:49:52 修改

阅读量1.1k

点赞数 15

CC 4.0 BY-SA版权

分类专栏：深度学习文章标签：深度学习 cnn 神经网络

于 2024-03-15 17:46:44 首次发布

本文链接：https://blog.youkuaiyun.com/C17875478487/article/details/136734362

本文介绍了多种卷积神经网络架构，包括VGG Net、GoogleNet、Inception V2、Inception V3、ResNet、DenseNet、SeNet、Residual Attention Networks、LeNet - 5、AlexNet和ZF Net。阐述了各网络的特点、结构及改进之处，如VGG Net增加深度，GoogleNet引入Inception模块等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. VGG Net

1.1 VGG Net的认识

**VGG Net的主要特点是将卷积层的深度增加到了极致，使用了多个 3x3 的卷积核进行卷积操作，增加了网络的深度，从而提高了网络的准确性。**VGG Net 的网络结构非常简单，只包含卷积层、池化层和全连接层，没有任何其他的复杂结构，因此在理解上也很简单。

VGG Net总共有两个版本，分别是VGG16和VGG19，它们的网络结构非常相似，只是深度不同。其中，VGG16包含13个卷积层和3个全连接层，VGG19则包含16个卷积层和3个全连接层。这些卷积层和全连接层都使用了ReLU激活函数和Dropout正则化技术，以避免过拟合。

VGG Net的优点是它的网络结构非常清晰，易于理解和实现，同时具有较高的准确性。但是，由于网络很深，因此训练时间较长，同时也存在过拟合的问题。另外，VGG Net 的参数量非常大，因此需要较大的存储空间和计算资源。

1.2 VGG Net为什么出现模型退化的问题？

VGG Net存在模型退化的问题，这主要是由于网络的深度过大所导致的。（本质上就是学习的太多了，每加一层线性转换，你的特征就会发生一次变换，导致变化过多了所以和原始特征之间的相关性会很弱甚至基本消失了）

在深度卷积神经网络中，增加网络的深度可以有效地提高模型的准确性。然而，当网络的深度达到一定程度时，模型的准确性反而开始下降，出现了所谓的模型退化（Degradation Problem）现象。模型退化指的是，随着网络深度的增加，训练误差会逐渐降低，但测试误差却会先降低后增加。

VGG Net作为一个非常深的卷积神经网络，也存在模型退化的问题。实验结果表明，在VGG Net的网络结构中，当网络深度达到19层时，模型退化现象就开始出现了。

2.GoogleNet （其实就是Inception的重复）

Inception模块：GoogleNet最大的特点之一是使用了Inception模块。传统的卷积神经网络通常使用多层串联的卷积操作来提取特征，但这会导致参数数量巨大。相比之下，Inception模块通过并行地进行多个不同尺度的卷积操作，然后将它们的输出连接在一起，以捕获不同层级的特征。这种多分支结构帮助GoogleNet有效地处理不同尺度的对象，并减少了参数的数量。

1x1卷积核的重要性：GoogleNet在Inception模块中广泛使用1x1卷积核。1x1卷积核主要用于降低特征图的维度，减少计算复杂度。此外，1x1卷积核还可以引入非线性激活函数，帮助模型更好地学习特征表示。通过合理使用1x1卷积核，GoogleNet能够在保持高准确率的同时大幅度减少网络参数量。
辅助分类器：为了缓解梯度消失的问题，GoogleNet在中间层添加了辅助分类器。这些辅助分类器有助于网络进行训练，并且在测试阶段提供额外的梯度信号。辅助分类器在损失函数中引入了额外的权重，以鼓励网络更早进行特征学习，从而加速训练过程。在测试时，这些辅助分类器被移除，只使用主分类器进行预测。
全局平均池化：与传统的卷积神经网络使用全连接层不同，GoogleNet采用了全局平均池化层。全局平均池化将每个特征图的空间维度降为1x1，并在通道维度上求平均值。这种操作极大地减少了参数数量，并有助于减轻过拟合的风险。全局平均池化层使得GoogleNet成为一个高效的模型，适用于嵌入式设备等资源受限的环境。
参数量控制与计算效率：GoogleNet通过Inception模块和1x1卷积核的使用，有效地控制了网络的参数量。相比于传统的卷积神经网络，GoogleNet在相同准确率下具有更小的参数量，提高了模型的效率和可训练性。此外，GoogleNet还通过减少卷积操作的数量，降低了整体计算复杂度。

总结起来，GoogleNet通过引入Inception模块、1x1卷积核、辅助分类器和全局平均池化等创新技术，在图像分类任务中取得了重大突破。它不仅在准确率方面表现优异，而且在参数量和计算效率方面也具备显著优势。

3. Inception V2

3.1Inception V2的特点

批标准化（Batch Normalization）：Inception V2引入了批标准化，通过规范化每个神经网络层的输入，有助于提高模型的收敛速度，加速训练过程，同时有助于避免梯度消失或爆炸的问题。
**更深的网络结构：**相对于Inception V1，Inception V2拥有更深的网络结构，通过增加层的深度来提高模型的表达能力，更好地捕捉图像中的抽象特征。
**优化的Inception模块：**Inception V2对Inception模块进行了优化，采用了更小的滤波器尺寸和更深的结构，以减少参数数量和计算成本。这有助于提高模型的计算效率。
**辅助分类器：**为了加速模型的训练，Inception V2引入了辅助分类器。这些辅助分类器