19、深度卷积神经网络：GoogLeNet、ResNet及迁移学习

深度卷积神经网络：GoogLeNet、ResNet及迁移学习

1. GoogLeNet架构与性能

GoogLeNet展示了利用更精细的架构构建深度、高性能且权重相对较少的网络的可能性。其网络结构包含了通道拼接（Channel concatenation）等操作，具体如下：
- Inception模块：包含多种卷积核大小和池化操作，如1×1/1/384、1×1/1/192、1×1/1/48、3×3/1 pool等。
- 后续操作：经过通道拼接后，进行平均池化（Avg pool 7×7/1）、Dropout（40%），最后通过全连接层（FC (softmax) 1,000）输出结果。

所有卷积层都使用修正线性单元（ReLU）作为激活函数。在2014年的ImageNet分类挑战中，22层的GoogLeNet取得了6.67%的top - 5错误率，略优于VGGNet。

2. ResNet的提出背景与原理

深度网络训练困难是一个长期存在的问题，即使通过适当初始化权重、应用批量归一化和使用ReLU神经元解决了梯度消失问题，深度网络在学习过程中仍存在问题。例如，当网络深度从18层增加到34层时，训练误差反而增加，这表明更复杂的模型未能充分发挥其学习能力。

ResNet通过引入跳跃连接（skip connection）解决了这个问题。跳跃连接使得网络更容易学习恒等函数，因为在某些情况下，后续层的最优解可能接近恒等函数，只需进行微小调整即可提高准确率。

2.1 ResNet的基本构建块

ResNet的基本构建块包含两个堆叠层和一个跳跃连接，该跳跃连接绕过了大部分这两层。假设这两层是全连接层，