面经：MobileNetV123特点汇总

MobileNetV1

提出了 Depthwise Separable Convolutions（深度可分离卷积），上述过程被拆分成了两个部分：深度卷积（Depthwise Convolution）与逐点卷积层（Pointwise Convolution）。

总结一下，深度卷积每个卷积核只处理1个输入特征通道，而不是M个输入特征通道，这样大大减少了运算量。然而这里面有个问题，也就是通道与通道之间的联系被切断了，所以后面需要再用 1x1 大小的逐点卷积层来处理M个特征通道之间的信息。可以减少8—9倍的参数量。

使用DW卷积会使参数量为普通卷积的1/in_channels倍。

MobileNetV2

主要谈的就是Inverted residual block（倒残差结构），普通残差是两头channel多，中间少，倒残差结构是中间大，两头少。维度小时使用非线性激活函数会损失信息，而维度越大越不容易损失。因此使用倒残差结构，在维度较大的中间部分使用ReLU6激活函数，减少信息损失。

ReLU激活函数会对低维特征造成大量损失，对高维特征几乎不造成损失。（同上）因此在网络最后一层使用线性激活函数Linear（因为最后一层已经是低维），以防止使用非线性激活函数造成的低维特征损失。

当stride = 1，且输入输出特征矩阵shape相