PyTorch实战——ResNet与DenseNet详解

0. 前言

我们已经学习了 Inception 模型，这些模型通过 1x1 卷积和全局平均池化减少了模型参数的数量，从而避免了随着层数的增加可能导致的参数爆炸问题。此外，还通过辅助分类器缓解了梯度消失问题。在本节中，我们将讨论 ResNet 和 DenseNet 模型。

1. ResNet

ResNet 引入了跳跃连接 (skip connections) 的概念。这种简单而有效的技巧克服了参数爆炸和梯度消失的问题。其基本思想如下图所示，输入首先经过非线性变换(卷积后跟非线性激活)，然后将该变换的输出(称为残差)与原始输入相加。每个这样的计算块称为残差块，因此该模型称为残差网络 (Residual Network, ResNet)：

通过使用跳跃连接(也称捷径连接)，ResNet-50 (50 层)的参数数量为 2600 万。由于参数数量有限，即使层数增加到 152