GoogLeNet Inception v3& LSN详解

GoogLeNet Inception v3 & Label Smoothing

论文《Rethinking the Inception Architecture for Computer Vision》

1 设计背景

文中针对如何构建Inception风格的卷积神经网络提出了一些设计准则，并根据这些准则，设计实现了基于Inception v3模块的GoogLeNet模型。

2 通用设计准则

1. 避免模型出现特征瓶颈；

Avoid representational bottlenecks, especially early in the network.

​ 模型在卷积过程中，应该避免对输入进行极端的压缩，输入的大小在整个卷积过程中应该平缓的减小。

2. 高维的特征更容易处理；

Higher dimensional representations are easier to pro- cess locally within a network.

​ 特征数目越多（可能有部分特征是非独立的），训练的速度越快。

3. 降低通道维度的embedding操作损失较小；

Spatial aggregation can be done over lower dimen- sional embeddings without much or any loss in representational pow