卷积神经网络的改进 —— 分组卷积、DW 与 PW

1、普通卷积

对于一张5×5像素、三通道彩色输入图片（shape为5×5×3）。经过3×3卷积核的卷积层（假设输出通道数为4，则卷积核shape为3×3×3×4），最终输出4个Feature Map，如果有same padding则尺寸与输入层相同（5×5），如果没有则为尺寸变为3×3。
此时，卷积层共4个Filter，每个Filter包含了3个Kernel，每个Kernel的大小为3×3。因此卷积层的参数数量可以用如下公式来计算：
N_std = 4 × 3 × 3 × 3 = 108
运算量可以用如下公式来计算：
5 X 5 X 3 X 3 X 3 X 4 = 2700

2、分组卷积（group convolution ）

将卷积的输入 feature map 进行分组组，每个卷积核也相应地分成组，在对应的组内分别做卷积，如上图所示。图中分组数为 g，每一组 feature map 只和对应的一组卷积核做卷积。每组卷积都生成一个feature map，共生成 g 个feature map。

我们用了同等的参数量运算量生成了 g 个 feature map。

所以 group conv 常用在轻量型高效网络中，因为它用少量的参数量和运算量就能生成大量的 feature map，大量的 feature map 意味着能够编码更多的信息！
从分组卷积的角度来看，分组数就像一个控制旋钮，最小值是1，此时的卷积就是普通卷积；最大值是输入 feature map 的通道数，此时的卷积就是 depthwise sepereable convolution，即深度分离卷积，又叫逐通道卷积。

分组卷积的用途

3、深度分离卷积（Depthwise Separable Convolution）

不同于常规卷积操作，Depthwise Convolution的一个卷积核负责一个通道，一个通道只被一个卷积核卷积。上面所提到的