组卷积(group convolution)的理解

分组是日常生活中一种常见现象,如基于年龄分为幼年、儿童、青少年、青年、中年和老年等。在机器学习中,聚类算法的本质思想也是分组,即把未知数据基于一些特性分成一个个组,便于人们理解。在深度学习用到组思想的一个地方就是组卷积。

组卷积最早出现是在AleNet,当初主要采用并行训练方式来训练。后来研究学者基于卷积的基本计算方式广义线性方程(或多元多项式方程)发现,当卷积网络中卷积核个数增多时,会出现卷积冗余现象,这种现象在线性回归方程中也存在,为了缓解这个问题,研究学者尝试把同一卷积层中的卷积核个数分成一个个不同的小组 (分而治之思想),即现在大部分学术论文称作的组卷积,每个小组中具有不同和相同的卷积核数量。基于我个人的理解,组卷积具有以下特点:

1、降低模型的计算量(压缩模型),可以参考Interleaved Group Convolutions for Deep Neural Networks系列论文,MobileNet系列论文;

2、提高模型精度,可以参考Aggregated Residual Transformations for Deep Neural Networks(RexNet),Selective Kernel Networks,Xception

3、模型综合性能权衡,组卷积计算方式相当于多分支,这个方向最近也有不少论文,HetConv: Heterogeneous Kernel-Based Convolutions for Deep CNNs,High-Resolution Representations for Labeling Pixels and Regions,Accurate Nuclear Segmentation with Center Vector Encoding

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值