4.ResNet

ResNet

    ResNet是2015年ImageNet比赛在classification上的冠军。

    ResNet的优点：
    1、设计了残差块的结构（residual block），使得网络深度增加了。对于更深的网络，存在一个很大的问题就是梯度消失的问题，因此对于离loss越远的层，梯度越有可能消失，随着层数的增加，这个现象也越严重。残差块通过跨层之间的传播，避免了这个问题。
    2、取消了最大池化和dropout结构
    3、卷积层卷积核全部为3 * 3，并且用步长为2的卷积层代替了池化层。

Resnet-50的具体结构：