ResNeXt详解
论文《Aggregated Residual Transformations for Deep Neural Networks》
1 主要思想
随着CNN网络的发展,很多SOTA的网络结构被提出,同时引入了一些新的结构设计方法。
VGG网络作为一个经典模型,它提出了叠加相同形状的块(stacking block)来增加模型深度的策略,后续提出的深层CNN模型也基本使用了这一策略。
Inception系列网络提出了split-transform-merge的策略,通过多分支卷积实现在低计算开销的前提下去接近大型密集层的表达能力。
文章结合了stacking block和split-transform-merge的策略,在ResNet的基础上提出了ResNeXt网络架构。
2 模型结构
2.1 split-transform-merge
重新回顾一下感知机模型,以便于理解split-transform-merge策略。
输入向量为X,感知机模型的运算逻辑可分为:
- Splitting,X分解为多个低维向量Xi;
- Transforming,每个Xi对应一个Wi以进行变换;
- Aggregating/Merge,每个Xi变换后进行累加;

ResNeXt网络结构结合了ResNet的堆叠块策略和Inception的split-transform-merge策略,通过多分支卷积减少计算开销,提升表达能力。在ResNet的Bottleneck块基础上,ResNeXt采用小宽度的3*3卷积,并通过增加分支数(基数)而非宽度或深度来提高性能。实验结果显示,ResNeXt模型在保持参数量的同时,性能优于ResNet。
最低0.47元/天 解锁文章
9万+

被折叠的 条评论
为什么被折叠?



