一种新的ResNet思路：Learning Identity Mapping with Residual Gates论文笔记

论文地址：Learning Identity Mappings with Residual Gates
本文地址：http://blog.youkuaiyun.com/wspba/article/details/72789964

前言

自从2015年ResNet在ImageNet比赛上火了之后，现在简直就是大红大紫啊，这两年关于ResNet的研究、基于ResNet网络的延伸、改进也越来越多，包括FractalNet、WideResNet、DenseNet等等，这几篇文章都会一一为大家介绍，今天要介绍的叫做Gated ResNet，它来自一篇发表在今年ICLR上的论文，它没有之前提到的几个网络复杂，它对ResNet所提出的Identity Mapping进行了更加细致的思靠，它认为Identity Mapping才是ResNet包括Highway Network的精髓，并提出了对于一个深层网络，如果它具有退化成Identity Mapping的能力，那么它一定是容易优化、并且具有很好性能的。

精髓：Identity Mapping

ResNet中所提出的Residual block之所以成功，原因有两点，第一，是它的shortcut connection增加了它的信息流动，第二，就是它认为对于一个堆叠的非线性层，那么它最优的情况就是让它成为一个恒等映射，但是shortcut connection的存在恰好使得它能够更加容易的变成一个Identity Mapping。对于第二点，其实刚开始看ResNet原文时，并没有完全理解，直到看到今天所讲的这篇论文时才正真理解到它的含义。

看下图：