论文笔记（一）. Identity mapping in Deep Residual Networks

论文笔记（一）. Identity mapping in Deep Residual Networks

作者：Kaiming He，Xiaoyu Zhang，Shaoqing Ren ，and Jian Sun

Abstract

这篇文章是作者就上一篇论文：Deep Residual Learning for Image Recognition 的深入探讨和研究。此篇文章从理论和实验上论述了ResNet的有效性，分析了 ResNet 中加入的 Identity mapping 为什么比较好，为什么它能让梯度在网络中顺畅的传递而不会爆炸或消失。同时就ResNet1202出现的降质问题，提出了一个新的残差单元，进一步提高了残差网络的性能。（cifar10: 4.62%)
code:

Introduction

ResNet结构：H(x)=x+F(x)

作者提出了一个更通用的表达式：

原始的ResNet由于shortcut是恒等映射，所以h(x)=x
作者认为ResNet的性能很好主要是因为identity mapping的存在，为进一步提高网络的性能，应该关注”direct“ 路径，更多的引入identity mapping，同时保障信息在前向传播和反向传播过程的顺畅性。
核心思想是保证信息传播路径的“clean”来缓解优化问题。

本文提出了一种恒等映射：f(y)=y，及去掉原来的relu函数，是信息直接流向下一个残差block。

（虚线：训练 实现：测试）
实验证明了该结构进一步提升了网络的性能。

Analysis

如果addition操作之后是恒等映射，则Residual network的数学表达变成：


L:任何深度 l:浅层深度

后向传播公式

公式表现为两个项之和，第一项直接通道，可以把深层的梯度传递到任意浅层，可以看出浅层的梯度很难为0，第二项为卷积通道，不可能一直为 -1，所以不管参数多小，梯度也不会消失。

恒等跨越连接的重要性

作者把原来的identity mapping改成线性映射，并分析其影响（h(x)=kx )



此网络的后向传播过程受λ控制，若λ>1，则第一项会非常大，因而会导致梯度爆炸；若λ<1，则第一项会非常小，甚至消失。反向传播的信号只能从第二项传递，但是其优化难度更大。综上，这个结构妨碍了信息的传播，恒等映射更好。

Experiment on Skip connection

在shortcut上添加各种结构，进行对比试验，试验结果证明了恒等映射最好。

On the Usage of Activation Functions

之前的网络结构都是假设f是恒等映射，这一部分研究relu激活函数的影响，并提出了一个“pre-activation”结构，能进一步提高了网络的性能。
对比实验：

网络的变化过程

Analysis

这种结构有双重效果：
1.缓解了优化难度。此结构中合并之后是恒等过渡，使得梯度的传播更加顺畅。其次减少了信息的流失，使得下一个block保存更多的信息。
2.减少过拟合。新结构多加了一个BN层，使得信息更加规范化。

Result