ResNetV1和ResNetV2

写在前面，最近看论文，看到好多ResNet的结构名词，ResNet-V1，ResNet-V2，ResNet50， ResNet101等等，这里来对ResNet的发展进行一个介绍。

ResNet是近年来CNN结构发展中最为关键的一个结构,后面非常多的insight都是在ResNet基础上进行改进,也有非常多的论文旨在分析残差结构的有效性。

ResNet-V1

论文：Deep residual learning for image recognition
随着网络层数的加深，出现训练集准确率下降的问题，我们来分析一下出现该问题的可能性。
（1）梯度消失或者梯度爆炸。
由于我们引入了batch-norm层，已经可以很大程度上解决梯度消失和梯度爆炸的问题，所以将该可能性排除。
（2）过拟合
过拟合的话训练集准确率应该很高的，所以将该可能性排除。
我们找到问题：深层次网络训练无法收敛。
对于无法收敛的问题，我们引出ResNet。它使用了一种连接方式，叫做“shortcut connection”。

对于“随着网络加深，准确率下降”的问题，Resnet提供了两种选择方式，也就是identity mapping和residual mapping，如果网络已经到达最优，继续加深网络，residual mapping将被push为0，只剩下identity mapping，这样理论上网络一直