《深度学习》—— ResNet 残差神经网络

一、什么是ResNet？

• ResNet 网络是在 2015年 由微软实验室中的何凯明等几位大神提出，斩获当年ImageNet竞赛中分类任务第一名，目标检测第一名。获得COCO数据集中目标检测第一名，图像分割第一名。

• ResNet 网络中的两个核心组成部分

  • 残差结构（Residual Structure）
  • Batch Normalization（批归一化）

• 为什么要提出残差结构？

  • 在ResNet 网络没有提出来之前，所有的神经网络都是通过卷积层和池化层的叠加组成的。

  • 很多人认为卷积层和池化层的层数越多，模型的效果会越好

  • 在实际的试验中发现，随着卷积层和池化层的叠加，学习效果不会逐渐变好，反而出现2个问题：

    1.梯度消失和梯度爆炸
    梯度消失：若每一层的误差梯度小于1，反向传播时，网络越深，梯度越趋近于0
    梯度爆炸：若每一层的误差梯度大于1，反向传播时，网络越深，梯度越来越大

    2.退化问题
    随着层数的增加，预测效果反而越来越差, 下面是何凯明他们论文中实验的可视化