文章名称《Aggregated Residual Transformations for Deep Neural Networks》
文章链接:https://arxiv.org/abs/1611.05431
其实ResNeXt这个网络结构严格说起来应该不算ResNet的小姨子,因为这是亲儿子啊,哈哈哈。自从KaiMing大神离开MSRA去了FaceBook之后,就跟RBG大神坐到了一起,这篇的文章作者是一水的大牛啊。
并且在2016的ImageNet上刷出了排名第二的好成绩。
反正,当看完论文我是震惊的,满脑子就是“窝草,还有这种操作,社会社会,惹不起惹不起。”这篇文章其实总的insight不是特别亮眼(跟Inception-ResNet在结构上还是有点相似的),但是一套逻辑下来叫人无话可说,实际上就是将group convolution引进了ResNet中,以获得更少的参数。不过说起group convolution要回到2012的AlexNet了,那时候由于GPU并没有现在的强大,所以作者把网络拆成两部分,不过现在都慢慢淡出人们的视野了。KaiMing挖的一手好坟,却造就了又一个经典–ResNeXt。
101-layer的ResNeXt可以达到ResNet的精确度,却在complexity只有后者的一半。
在ResNet提出deeper可以带来网络性质提高的同时,WideResNet则认为Wider也可以带来深度网络性能的改善。为了打破或deeper,或wider的常规思路,ResNeXt则认为可以引入一个新维度,称之为cardinality。并且作者在实验上也证明了: increasing cardinality is more effective than going deeper or wider when we increase the capacity
先看一下ResNeXt的结构: