2张图理解resnet核心思想

版权声明：本文为博主原创文章，转载需注明出处。    https://blog.youkuaiyun.com/u013698770/article/details/57977482
resnet是用于解决什么问题的

实验结果表明，层数的增加会提高网络的学习效果。但是，实验结果也表明，如果只是单纯的增加网络的深度，网络的学习能力会下降。实验结果如下图所示：56层的学习误差比20层的学习误差还要大。因此，我们需要一种方法，使网络的深度增加的同时，学习能力也增加。 

resnet是通过什么方式来解决问题的

resnet的出现就是来解决这个问题的。 
一般情况下我们的网络如下图所示，相较于resnet，我们称之为plaint net，经过两个神经层之后，输出的H(x)
如下所示： 
H(x)=relu(w2∗(relu(w1∗x)))
 
H(x)和x之间存在一个函数的关系，比如说这两层神经网络构成的是H(x)=2x这样的关系
 

但是，在残差的网络中，用F(x)=relu(w2∗(relu(w1∗x)))
， 
而输出的H(x)=F(x)+x
，那么，为什么要这么设置呢？ 
Residual Net 核心思想是，去拟合残差函数 F(F=H(x)−g(x))
，选 g(x)=x
 时效果最好。 
因此，F(x)=H(x)−x

--------------------- 
作者：罗泽 
来源：优快云 
原文：https://blog.youkuaiyun.com/u013698770/article/details/57977482 
版权声明：本文为博主原创文章，转载请附上博文链接！