Google Net学习

特点

1 .inception V1 参数少效果好，的原因有二 ：第一是模型层数更深（22层），表达能里更强；第二是在最后一层用平均池化层来取代了全连接层

 

2.精心设计的incetion module 的反复堆叠利用

3.MLPconv  基本等效于在普通卷积后再加1X1的卷积再加relu，相当于把通道间的信息组合起来了。因此能提取更多的信息。这样就可以减少上一层的通道来减小参数。

 

 

4.inception module 的特点，我们看到1X1的卷积的作用是组合通道间信息，并且可以做通道的升降维，提高网路的表达能力，可以进行低成本的跨通道的特征变换。

5.它包含了三种不同的卷积和一个3X3的最大池化，增加了网络对不同尺度的适应性，最后把所有的输出通道合并起来。

 

 

 

6.再inception module中1X1 3X3 5X5的卷积越来越少，再整个网络中，会堆叠多个模块，我们希望的是靠后的模块能够捕捉更加高阶的抽象特征也就是能从更加大的区域提取特征，因此越靠后的模块的大卷积核会原来越多。

 

7.整个网络22层，再中间层用到了辅助分类节点，即将中间某一层作为输出，并用一个较小的权重（0.3）加入到最终的 分类结果中去，这样的作用有三：第一做了模型的融合，第二增加了BP的梯度信号，第三起了正则化的作用。

所谓的正则化指的是：旨在减少泛化误差而对学习算法的修改。

8.inception v2提出了batch normalization 这一有效的正则化方法，因此是可以取消dropout的，并且减轻L2正则。它使得输出规范位（0，1）正太分布。使得训练速度大大加快。

 

9.Inception V3网络则主要有两方面的改造：一是引入了Factorization into smallconvolutions的思想，将一个较大的二维卷积拆成两个较小的一维卷积，比如将7*7卷积拆成1*7卷积和7*1卷积，或者将3*3卷积拆成1*3卷积和3*1卷积，如图3所示。一方面节约了大量参数，加速运算并减轻了过拟合（比将7*7卷积拆成1*7卷积和7*1卷积，比拆成3个3*3卷积更节约参数），同时增加了一层非线性扩展模型表达能力。论文中指出，这种非对称的卷积结构拆分，其结果比对称地拆为几个相同的小卷积核效果更明显，可以处理更多、更丰富的空间特征，增加特征多样性。

 

Inception V3优化了Inception Module的结构，现在Inception Module有35*35、17*17和8*8三种不同结构，如图4所示。这些Inception Module只在网络的后部出现，前部还是普通的卷积层。并且Inception V3除了在Inception Module中使用分支，还在分支中使用了分支（8*8的结构中），可以说是Network In Network In Network。

                                                  图4Inception V3中三种结构的InceptionModule

 

INCEPTION V3网络结构

参考文献：https://blog.youkuaiyun.com/marsjhao/article/details/73088850