TensorFlow深度学习实战——基于ResNet模型实现性别分类

0. 前言

从 VGG16 到 VGG19，最显著的变化在于网络层数的增加，通常而言，神经网络越深，其模型性能就越好。但如果仅通过增加网络层数就可以获得更高的模型性能，事情就变得简单了，我们可以通过不断向模型添加更多层直到其达到最佳性能。
但不幸的是，事实并非如此，随着网络层数的增加，梯度消失的问题也浮出水面——随着层数的增加，网络中的梯度就会变得很小，以至于难以调整权重，同时网络性能也会下降。
深度残差网络 (ResNet) 的提出就是为了解决上述问题。在 ResNet 中，如果模型没有什么要学习的，那么卷积层可以什么也不做，只是将上一层的输出传递给下一层。但是，如果模型需要学习其他一些特征，则卷积层将前一层的输出作为输入，并学习完成目标任务所需的其它特征。

1. ResNet 架构简介

残差 (Residual) 在数理统计中是指实际观察值与估计值(拟合值)之间的差值。经典的 ResNet 架构如下所示：