重读残差网络——resnet(对百度vd模型解读)

  resnet 解决了随着CNN网络深度的加深，网络性能退化的一个问题。

具体解释见 （11：20）：  飞桨开发者live：手把手教你玩转工业质检_哔哩哔哩_bilibili 一分钟带你认识残差模块

对百度vd模型解读（14：40）：飞桨开发者live：手把手教你玩转工业质检_哔哩哔哩_bilibili

很好的解释：深度学习经典网络（4）ResNet深度残差网络结构详解_青衫憶笙-优快云博客_resnet网络结构

论文翻译中文版

 

Resnet v2 结构有人用吗？效果如何？ - 知乎

2. 怎么解决退化问题？

2.1.直观理解

深度残差网络。如果深层网络的后面那些层是恒等映射，那么模型就退化为一个浅层网络。那现在要解决的就是学习恒等映射函数了。 但是直接让一些层去拟合一个潜在的恒等映射函数H(x) = x，比较困难，这可能就是深层网络难以训练的原因。但是，如果把网络设计为H(x) = F(x) + x,如下图。我们可以转换为学习一个残差函数F(x) = H(x) - x. 只要F(x)=0，就构成了一个恒等映射H(x) = x. 而且，拟合残差肯定更加容易。

（二十七）通俗易懂理解——Resnet残差网络 - 知乎

对残差网络ResNet的理解与探讨

探讨了为什么学习残差比直接学习 恒等映射 更容易，更方便，为什么要学习残差

需要学习恒等映射才引入了shortcut，而不是引入了shortcut导致了学习到恒等映射。

也就是 通过引入 shortcut，使得网络能直接学习残差的方式解决原先多余的网络层变成恒等映射层比较困难的问题。

附图：李沐大神也给出了不同的残差块的设计，本质上和上面讲的其实差不多。

【29 残差网络 ResNet【动手学深度学习v2】】