GoogLeNet Inception v3 & Label Smoothing
论文《Rethinking the Inception Architecture for Computer Vision》
1 设计背景
文中针对如何构建Inception风格的卷积神经网络提出了一些设计准则,并根据这些准则,设计实现了基于Inception v3模块的GoogLeNet模型。
2 通用设计准则
- 避免模型出现特征瓶颈;
Avoid representational bottlenecks, especially early in the network.
模型在卷积过程中,应该避免对输入进行极端的压缩,输入的大小在整个卷积过程中应该平缓的减小。
- 高维的特征更容易处理;
Higher dimensional representations are easier to pro- cess locally within a network.
特征数目越多(可能有部分特征是非独立的),训练的速度越快。
- 降低通道维度的embedding操作损失较小;
Spatial aggregation can be done over lower dimen- sional embeddings without much or any loss in