卷积神经网络的改进 —— 分组卷积、DW 与 PW

卷积神经网络演进

最新推荐文章于 2024-01-12 08:00:00 发布

原创

最新推荐文章于 2024-01-12 08:00:00 发布 · 1w 阅读

151 ·

CC 4.0 BY-SA版权

文章标签：

#卷积神经网络

本文探讨了卷积神经网络的发展历程，包括分组卷积、深度分离卷积等技术的引入及其对网络性能的影响。文章还介绍了多种CNN模型的设计理念和技术细节。

1、普通卷积

在这里插入图片描述
对于一张5×5像素、三通道彩色输入图片（shape为5×5×3）。经过3×3卷积核的卷积层（假设输出通道数为4，则卷积核shape为3×3×3×4），最终输出4个Feature Map，如果有same padding则尺寸与输入层相同（5×5），如果没有则为尺寸变为3×3。
此时，卷积层共4个Filter，每个Filter包含了3个Kernel，每个Kernel的大小为3×3。因此卷积层的参数数量可以用如下公式来计算：
N_std = 4 × 3 × 3 × 3 = 108
运算量可以用如下公式来计算：
5 X 5 X 3 X 3 X 3 X 4 = 2700

2、分组卷积（group convolution ）

在这里插入图片描述
将卷积的输入 feature map 进行分组组，每个卷积核也相应地分成组，在对应的组内分别做卷积，如上图所示。图中分组数为 g，每一组 feature map 只和对应的一组卷积核做卷积。每组卷积都生成一个feature map，共生成 g 个feature map。
在这里插入图片描述

我们用了同等的参数量运算量生成了 g 个 feature map。

所以 group conv 常用在轻量型高效网络中，因为它用少量的参数量和运算量就能生成大量的 feature map，大量的 feature map 意味着能够编码更多的信息！
从分组卷积的角度来看，分组数就像一个控制旋钮，最小值是1，此时的卷积就是普通卷积；最大值是输入 feature map 的通道数，此时的卷积就是 depthwise sepereable convolution，即深度分离卷积，又叫逐通道卷积。