第二卷 第十一章 ResNet
在我们的前一章中,我们讨论了 GoogLeNet 架构和 Inception 模块,这是一个微架构,在整个宏架构中充当构建块。 我们现在将讨论另一种依赖于微架构的网络架构——ResNet。
ResNet 使用所谓的残差模块将卷积神经网络训练到以前认为不可能的深度。 例如,在 2014 年,VGG16 和 VGG19 架构被认为非常深入。 然而,使用 ResNet,我们已经在具有挑战性的 ImageNet 数据集上成功训练了超过 100 层的网络,并在 CIFAR-10上成功训练了超过 1,000 层。
在本章中,我们将讨论 ResNet 架构、残差模块以及残差模块的更新,这些更新使其能够获得更高的分类精度。从那里我们将在 CIFAR 上实现和训练 ResNet 的变体 - 10 数据集和 Tiny ImageNet 挑战——在每种情况下,我们的 ResNet 实现都将胜过我们在本书中执行的每个实验。