【深度学习】入门理解ResNet和他的小姨子们（三）---ResNeXt

文章名称《Aggregated Residual Transformations for Deep Neural Networks》
文章链接：https://arxiv.org/abs/1611.05431

其实ResNeXt这个网络结构严格说起来应该不算ResNet的小姨子，因为这是亲儿子啊，哈哈哈。自从KaiMing大神离开MSRA去了FaceBook之后，就跟RBG大神坐到了一起，这篇的文章作者是一水的大牛啊。
并且在2016的ImageNet上刷出了排名第二的好成绩。

反正，当看完论文我是震惊的，满脑子就是“窝草，还有这种操作，社会社会，惹不起惹不起。”这篇文章其实总的insight不是特别亮眼(跟Inception-ResNet在结构上还是有点相似的)，但是一套逻辑下来叫人无话可说，实际上就是将group convolution引进了ResNet中，以获得更少的参数。不过说起group convolution要回到2012的AlexNet了，那时候由于GPU并没有现在的强大，所以作者把网络拆成两部分，不过现在都慢慢淡出人们的视野了。KaiMing挖的一手好坟，却造就了又一个经典–ResNeXt。
101-layer的ResNeXt可以达到ResNet的精确度，却在complexity只有后者的一半。

在ResNet提出deeper可以带来网络性质提高的同时，WideResNet则认为Wider也可以带来深度网络性能的改善。为了打破或deeper，或wider的常规思路，ResNeXt则认为可以引入一个新维度，称之为cardinality。并且作者在实验上也证明了： increasing cardinality is more effective than going deeper or wider when we increase the capacity

先看一下ResNeXt的结构：