探讨了深度网络中出现的退化问题，即网络层数增加并不一定带来性能提升的现象。介绍了解决这一问题的残差网络，通过转换目标函数实现恒等映射，使网络更易训练。
问题描述：
通俗来说，对于Loss Function的解集，较浅的网络应该是越深的网络的子集合，但实际中却发现网络层数越多反而没有更好的效果，这时就出现了网络退化的问题：
解决问题的思路
从本质上来说，我们在搭建深度网络时并不能很好的确定网络的深度，我们期望在网络会有一个最优层，而在最优层之外则是冗余层，我们期望冗余层能做到输入与输出对应，即恒等映射
解决问题的方法
传统CNN网络与残差网络简化示意图如下，在残差网络中，为了达到恒等映射即网络的输入x和输出f(x)一样的目的，从传统的目标f(x)=x,转换为h(x)=f(x)-x.这样在减去目标一致的主体部分后(类似残差的式子因此得名残差网络)，网络的变化输出目标趋进于零，这样网络更加容易训练，变化更明显, 通俗理解为（信号差分放大器,保底思路).
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
