48、卷积神经网络架构解析与实践

卷积神经网络架构解析与实践

1. 经典卷积神经网络架构概述

1.1 GoogLeNet及其变体

最初的GoogLeNet架构在第三和第六个Inception模块之上插入了两个辅助分类器，它们由平均池化层、卷积层、两个全连接层和Softmax激活层组成。训练时，其损失（按70%缩放）会添加到总损失中，目的是解决梯度消失问题并正则化网络，但后来发现其效果相对较小。

Google研究人员后来提出了GoogLeNet架构的几个变体，包括Inception - v3和Inception - v4，它们使用略有不同的Inception模块以实现更好的性能。

1.2 VGGNet

VGGNet在2014年的ILSVRC挑战赛中获得亚军。它由牛津大学视觉几何组（VGG）研究实验室的Karen Simonyan和Andrew Zisserman开发，具有非常简单和经典的架构。它有2或3个卷积层和一个池化层，然后再次重复2或3个卷积层和一个池化层，依此类推（根据VGG变体，总共有16或19个卷积层），再加上一个有2个隐藏层和输出层的最终密集网络。它使用小的3×3滤波器，但数量很多。

1.3 ResNet

Kaiming He等人在2015年的ILSVRC挑战赛中使用残差网络（ResNet）获胜，其前5错误率惊人地低于3.6%。获胜变体使用了由152层组成的极深卷积神经网络（其他变体有34、50和101层），这证实了计算机视觉模型越来越深、参数越来越少的总体趋势。

训练深度网络的关键是使用跳跃连接（也称为捷径连接），即将输入信号添加到更高层的输出中。当训练神经网络时，目标是使其建模目标函数h