PreActResNet

Paper : Identity Mappings in Deep Residual Networks
Code : official

摘要

PreActResNet其实只是将Conv-BN-ReLU的顺序换了一下，使得存在一条通路从第一个ResNet Block到最后一个ResNet Block，中间不经过非线性变换ReLU，提高模型的准确率。

网络结构

左侧的网络结构是ResNet中提出的网络结构，是继承自VggNet的经典的Conv-BN-ReLU的结构，由于激活函数是在Conv层之前，因此也被称为PostActResNet。而右侧的网络结构是该论文中提出的新型的网络结构，在之前的一篇blog中分析identity shortcut connection的作用时曾经有过如下假设

… 则在有效的反向传播的过程中，ReLU可以看作是一个恒等映射 …

而PreActResNet的网络结构，也就是激活函数放在Conv层之前的结构，不需要通过近似即可满足该条假设，进一步增强了网络结构中shortcut的恒等性。两种结构的错误率变化如下

可以看出，对于深度较深的网络结构，PreActResNet在收敛速度和准确率上都有较好的表现。事实上，我们有更多种排列方式可以选择

下面是针对各种shortcut连接方式的实验数据

论文里提到，shortcut连接中的操作(缩放、门控、1*1 的卷积层，dropout)都会阻碍信息的传递，以致于对优化造成困难。虽然1*1的卷积捷径连接引入了更多的参数，本应该比恒等捷径连接具有更加强大的表达能力。但是它的效果并不好，这表明了这些模型退化问题的原因是优化问题，而不是表达能力的问题。

核心观点

1. 通过改变激活层的位置，使网络模型的shortcut connection的恒等性进一步加强，可以改善残差神经网络的表现。一条由恒等函数组成的干净的shortcut connection是对于ResNet来说是至关重要的。