CNN演变史
转载:系统学习深度学习(二十二)–CNN经典模型总结
卷积神经网络从Alexnet以来突破的方向就是增加网络深度和宽度的同时减少参数,但网络深度的提升会带来参数的急剧增加,会产生过拟合,计算复杂度越高;另一方面,网络越深,梯度越往后穿越容易消失(梯度弥散),难以训练和优化模型;Inception就是在这样的情况下应运而生。
Inception模型优势:
- 采用了NIN网络提出的1x1卷积核,性价比高,用很少的计算量既可以增加一层的特征变换和非线性变换。
- 提出Batch Normalization,通过一定的手段,把每层神经元的输入值分布拉到均值0方差1的正态分布,使其落入激活函数的敏感区,避免梯度消失,加快收敛。
- 引入Inception module,4个分支结合的结构,每个分支采用1x1的卷积核。
- 去除了最后的全连接层,改用全局平均池化层来代替(图像尺寸变为1x1),即大大减少计算量。
一、Inception v1模型
Inception v1模型去除了最后的全连接层,使用NIN网络的全局平均池化层来代替,最主要的改变是增加 1 ∗ 1 1*1