解密ResNet：Identity Mappings in Deep Residual Networks

论文链接：https://arxiv.org/abs/1603.05027

本篇文章是对ResNet取得较好效果的分析与改进，在过去residual block的基础上，提出了新的residual block，并通过一系列实验验证了identity mapping能对模型训练产生很好的效果。

1、介绍

1、ResNet block表示：

• resnet block结果如下：
  

• resnet block公式表示如下：
  

  $$y_l=h(x_l)+F(x_l,\omega_l) , x_{l+1} = f(y_l)$$

其中$x_l$和$x_{l+1}$是第l个单元的输入和输出，f表示一个残差函数。在He，ResNet论文中，$h(x_l)=x_l$代表一个恒等映射，f代表 ReLU。

2、Analysis of Deep Residual Networks

在resnet表达式中，如果f是一个恒等映射：$x_{l+1}=y_l$，我们可以将公式合并得到：

xl+1=h(x