Inception

1)

 

1）同网络层，多尺度卷积与池化融合（卷积核大小采用1*1、3*3和5*5，padding =0、1、2）

2)采用1x1卷积核来进行降维(减少计算成本)

3）采用GAP+全连接层（且仍用Dropout ）

4)避免梯度消失，网络额外增加了2个辅助的softmax用于向前传导梯度(实际测试的时候，这两个额外的softmax会被去掉。)

 

2.Inception V2结构

1)用2个连续的3x3卷积层(stride=1)组成的小网络来代替单个的5x5卷积层

      优点： 大卷积核有大感受野，保持感受野范围的同时又减少了参数量

 

3、Inception V3结构

1）任意nxn的卷积都可以通过1xn卷积后接nx1卷积来替代（例如：3*3=3*1+3*1）

注：

作者发现在网络的前期使用这种分解效果并不好，还有在中度大小的feature map上使用效果才会更好，最少的特征图大小在12-20之间最优

 

Inception V4（结合了残差神经网络ResNet）：