【深度学习】入门理解ResNet和他的小姨子们(三)---ResNeXt

文章名称《Aggregated Residual Transformations for Deep Neural Networks》
文章链接:https://arxiv.org/abs/1611.05431

其实ResNeXt这个网络结构严格说起来应该不算ResNet的小姨子,因为这是亲儿子啊,哈哈哈。自从KaiMing大神离开MSRA去了FaceBook之后,就跟RBG大神坐到了一起,这篇的文章作者是一水的大牛啊。
并且在2016的ImageNet上刷出了排名第二的好成绩

反正,当看完论文我是震惊的,满脑子就是“窝草,还有这种操作,社会社会,惹不起惹不起。”这篇文章其实总的insight不是特别亮眼(跟Inception-ResNet在结构上还是有点相似的),但是一套逻辑下来叫人无话可说,实际上就是将group convolution引进了ResNet中,以获得更少的参数。不过说起group convolution要回到2012的AlexNet了,那时候由于GPU并没有现在的强大,所以作者把网络拆成两部分,不过现在都慢慢淡出人们的视野了。KaiMing挖的一手好坟,却造就了又一个经典–ResNeXt。
101-layer的ResNeXt可以达到ResNet的精确度,却在complexity只有后者的一半。

在ResNet提出deeper可以带来网络性质提高的同时,WideResNet则认为Wider也可以带来深度网络性能的改善。为了打破或deeper,或wider的常规思路,ResNeXt则认为可以引入一个新维度,称之为cardinality。并且作者在实验上也证明了: increasing cardinality is more effective than going deeper or wider when we increase the capacity

先看一下ResNeXt的结构:

评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值