ResNet残差网络，想必大家一定很熟悉了，那么先考考大家，下面（1）-（5）的结构哪个是我们常用的ResNet结构？
其中weight指conv层，BN指Batch Normalization层，ReLU指激活层，addition指相加；
根据ResNet的描述，似乎以上五组都符合，那么2016年ResNet原文是哪一个结构呢？以及其他四组结构也都work么？我们不禁有了这两个疑问，伴随着疑问我们一一揭开谜题；
针对第一个问题，ResNet原文中使用的结构是（1），（1）的特点有两个：1）BN和ReLU在weight的后面；2）最后的ReLU在addition的后面；对于特点1），属于常规范畴，我们平时也都这个顺序：Conv->BN->ReLU；对于特点2），为什么ReLU放在addition后面呢？按照常规，不是应该是图（3）这种么，那么我们接下来引出的问题就是：
图（3）的结构work么？
对于每个图右侧部分我们称作“residual”分支，左侧部分我们称作“identity”分支，如果ReLU作为“residual”分支的结尾，我们不难发现“residual”分支的结果永远非负，这样前向的时候输入会单调递增，从而会影响特征的表达能力，所以我们希望“residual”分支的结果应该在（-∞∞， +∞∞）；这点也是我们以后设计网络时所要注意的。
对于图（3）不OK的情况，那如果把BN也挪到addition后面呢？如图（2），同时也保证了“residual”分支的取值范围；
这里BN改变了“identity”分支的分布，影响了信息的传递，在训练的时候会阻碍loss的下降；这里大家肯定又有个问题：
为什么“identity”分支发生变化，会影响信息传递，从而影响训练呢？
这里简单回顾ResNet的公式：
yl=h(xl)+F(xl,Wl)yl=h(xl)+F(xl,Wl) and xl+1=f(yl)xl+1=f(yl)
简化以上公式，令所有“identity”分支都是h(xl)=xlh(xl)=xl以及xl+1=ylxl+1=yl，那么得到:
3979
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
