[模型压缩/加速]-加速卷积计算的三种方法-Depth-wise Conv、Group Conv、Channel-wise Conv

最新推荐文章于 2025-10-24 21:37:31 发布

原创

最新推荐文章于 2025-10-24 21:37:31 发布 · 6.1k 阅读

29 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #卷积 #人工智能 #算法 #机器学习

本文介绍了几种常见的卷积优化技术，包括Depth-wise Conv、Group Conv、Channel-wise Conv等，并详细阐述了它们的工作原理及优缺点。这些技术通过减少计算量和参数量来提高卷积神经网络的效率。

1.概念简介

假设输入尺寸大小为aa、通道为n，输出通道数为m，卷积核大小为bb，步长为1.那么
计算量为 FLOPs = a * a * n * m * b * b
参数量为 b * b * n * m
这就是传统卷积的计算方式，可以看到，当a、b、n、m相对较大的时候，造成的计算量是非常大的，所以就有降低模型大小与计算量的需要。

2.Depth-wise Conv

出自论文《MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications》，这个DwConv的提出是它的核心工作之一，它可以将标准卷积分解成一个深度卷积和一个点卷积（1 × 1卷积核）。深度卷积将每个卷积核应用到每一个通道，而1 × 1卷积用来组合通道卷积的输出。
在这里插入图片描述
对一个大小为aan的输入图，传统的方法是使用大小为bbn*m的卷积核进行卷积。

而depth-wise separable convolution则首先使用大小为bb1n的卷积核进行depth-wise convolution。具体来说，在depth-wise convolution中，n个输入通道中的每一个都有相应的卷积核，两两进行卷积。得到的输出通道数为n，如果stride为1且padding为same的话，大小就是aa*n。

接下来再进行1x1卷积，卷积核为11nm，得到aa*m的最终输出。

这种方法的计算量为FLOPs=a*a*n*b*b+a*a*n*m，参数大小为a