一. 背景介绍
Inception 主要改进了网络中的传统卷积层,针对深度神经网络性能和计算量,主要解决了深度网络中的以下问题:
1. 参数太多,容易过拟合,若训练数据集有限;
2. 网络越大计算复杂度越大,难以应用;
3. 网络越深,梯度越往后穿越容易消失(梯度弥散),难以优化模型
Inception主要就是为了解决在增加网络深度和宽度的同时去减少参数,1*1的卷积核可以增加/减少特征map的channel:
1*1的卷积核可以降低feature map的通道维度,如下图所示:
合理利用1*1的卷积核可以降低计算量:
上图中整个卷积过编程过程需要进行12.4M次乘法,那如果没有11的卷积核呢? 则需要28283255192 = 120M次乘法, 最终feature map 上每一个像素对应55个区域,共有282832个像素,原始输入有192个channel,所以最终需要28283255192 = 120M次乘法