卷积计算、1x1 卷积、BN、梯度爆炸与消失、ResNet残差、RoI Pooling 和 RoI Align

• 卷积输出计算以及卷积核参数计算

       计算量 = ，，即输入通道数、输出通道数、卷积核长、宽、输出特征图的长、宽的乘积；

       参数数量 = 

 

• 1 x 1 卷积的作用   参考：1 x 1 卷积的作用

       当1*1卷积出现时，在大多数情况下它作用是升/降特征的维度，这里的维度指的是通道数（厚度），而不改变图片的宽和高。

       e.g. W*H*6的特征，现在需要用1*1的卷积核将其降维成W*H*5，即6个通道变成5个通道，通过一次卷积操作，W*H*6将变为W*H*1，这样的话，使用5个1*1的卷积核，显然可以卷积出5个W*H*1，再做通道的串接操作，就实现了W*H*5。
在这里先计算一下参数数量，一遍后面说明，5个卷积核，每个卷积核的尺寸是1*1*6，也就是一种有30个参数。

 

• BN 的原理、存在的问题及解决、流程、计算、好处、inference过程描述
  • 原理：
    • Internal Covariate Shift：在训练过程中，隐层的输入分布总是在变化；
    • 图像白化：对输入数据分布变换到0均值，单位方差的正态分布，网络收敛变快；
    • BN的基本原理就是对于每个隐层神经元，把逐渐向激活函数极限饱和区靠近的输入分布强制拉回到均值为0