13、深入理解GoogLeNet架构：从Inception到MiniGoogLeNet实战

深入理解GoogLeNet架构：从Inception到MiniGoogLeNet实战

1. Inception模块及其变体

1.1 原始Inception模块

Inception模块最初用于GoogLeNet，它在网络的同一模块内计算1×1、3×3和5×5卷积，充当“多级特征提取器”。此外，Inception模块还有第四个分支，即池化投影分支，该分支执行步长为1×1的3×3最大池化。历史上，执行池化的模型通常能获得更高的准确率，但现在我们知道，池化层可以用卷积层来替代以减小体积大小。在Szegedy等人的工作中，添加池化层是因为当时认为卷积神经网络需要它才能表现良好。池化层的输出会被输入到一系列1×1卷积中以学习局部特征。最后，Inception模块的四个分支在通道维度上连接在一起。在实现过程中，会通过零填充确保每个分支的输出体积大小相同，以便进行连接。在实践中，我们通常会在执行池化操作以减小体积大小之前堆叠多个Inception模块。

1.2 Miniception模块

原始的Inception模块是为GoogLeNet设计的，旨在在ImageNet数据集上进行训练并获得最先进的准确率。对于较小的数据集（图像空间维度较小），当需要较少的网络参数时，我们可以简化Inception模块。“Miniception”模块最初由@ericjang11和@pluskid在推文中展示，用于训练CIFAR - 10数据集。该模块来自Zhang等人2017年的研究，其架构由卷积模块、Inception模块和下采样模块组成。
- 卷积模块 ：负责执行卷积、批量归一化和激活操作。
- Minice