shufflenet中channel shuffle原理

最新推荐文章于 2025-03-27 20:32:27 发布

木禾DING

最新推荐文章于 2025-03-27 20:32:27 发布

阅读量1.4w

点赞数 19

CC 4.0 BY-SA版权

分类专栏： Deep Learning 文章标签：卷积深度学习计算机视觉

本文链接：https://blog.youkuaiyun.com/ding_programmer/article/details/104544579

Deep Learning 专栏收录该内容

15 篇文章

订阅专栏

本文探讨了分组卷积(Groupconvolution)在深度学习中的应用，它通过减少计算量来提高效率。但同时也带来了特征图间通信的问题，文章介绍了如何通过1x1pointwiseconvolution和channelshuffle技术解决这一挑战，确保网络能有效提取特征。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

分组卷积
Group convolution是将输入层的不同特征图进行分组，然后采用不同的卷积核再对各个组进行卷积，这样会降低卷积的计算量。因为一般的卷积都是在所有的输入特征图上做卷积，可以说是全通道卷积，这是一种通道密集连接方式（channel dense connection），而group convolution相比则是一种通道稀疏连接方式
具体过程可见我的另一个博客
https://blog.youkuaiyun.com/ding_programmer/article/details/104469348

分组卷积的矛盾——特征通信
group convolution层另一个问题是不同组之间的特征图需要通信，否则就好像分了几个互不相干的路，大家各走各的，会降低网络的特征提取能力，这也可以解释为什么Xception，MobileNet等网络采用密集的1x1 pointwise convolution，因为要保证group convolution之后不同组的特征图之间的信息交流。

channel shuffle

为达到特征通信目的，我们不采用dense pointwise convolution，考虑其他的思路：channel shuffle。如图b，其含义就是对group convolution之后的特征图进行“重组”，这样可以保证接下了采用的group convolution其输入来自不同的组，因此信息可以在不同组之间流转。图c进一步的展示了这一过程并随机，其实是“均匀地打乱”。

在程序上实现channel shuffle是非常容易的：假定将输入层分为 g 组，总通道数为 $\times n$ ，首先你将通道那个维度拆分为 (g,n) 两个维度，然后将这两个维度转置变成 (n,g) ，最后重新reshape成一个维度 $g×ng\times n$ 。