卷积神经网络-ResNet

第一次写博客，算作一份笔记吧，如有不足请指正。

更深层的网络训练不易，ResNet的提出降低了这种压力。ResNet在ImageNet 测试集上达到了3.57%的错误率，并获得了2ISVRC 2015的第一名。

背景知识

研究表明，特征的层次随着堆叠的层数（层深度）增加变得丰富。许多研究开始致力于加深层深度。
随着层深度的重要性的突显，一个问题也被提出：Is learning better networks as easy as stacking more layers?
首先，梯度消失/爆炸是一个巨大的挑战，该问题可以通过正则初始化和层正则化解决。
随着层深度的加深，另一个重要问题：精度退化和训练错误率增加。（该问题不是由过拟合导致的）

残差结构

退化问题表明，相应的解决方法在用多个非线性层逼近恒等映射时存在困难。
本文提出一个残差网络：
denoting the desired underlying mapping as H(x), we let the stacked nonlinear layers fit another mapping of F(x) := H(x)-x. The original mapping is recast into F(x)+x.
注上述均为初步假设，后期通过训练可以实现假设。
对于残差结构，当恒等映射时最优的时候，可以接单的将多个非线性层权重置零以得到恒等映射。


Identity mapping is sufficient for addressing the degradation problem and is economical, and thus Ws is only used when matching dimensions.

参考：Deep Residual Learning for Image Recognition