李沐动手学深度学习V2-ResNet残差网络模型和代码实现

1.ResNet

1.1 神经网络嵌套函数和非嵌套函数(前提知识)：

首先，假设有一类特定的神经网络架构$\mathcal{F}$，它包括学习速率和其他超参数设置。对于所有$f\in \mathcal{F}$，存在一些参数集（例如权重和偏置），这些参数可以通过在合适的数据集上进行训练而获得。现在假设$f^{\ast }$是我们真正想要找到的函数，如果是$f^{\ast }\in \mathcal{F}$，那我们可以轻而易举的训练得到它，但通常不能找到我们真正想要的函数$f^{\ast }$，相反，我们将尝试找到一个函数$f_{\mathcal{F}}^{\ast }$，这是我们在$\mathcal{F}$中的最佳选择。例如，给定一个具有$\mathbf{X}$特性和$\mathbf{y}$标签的数据集，我们可以尝试通过解决以下优化问题来找到它：
$$f_{\mathcal{F}}^{\ast }:={\mathrm{argmin}}_{f}L(\mathbf{X},\mathbf{y},f)\text{ subject to }f\in \mathcal{F}.$$
那么，怎样得到更近似真正$f^{\ast }$的函数呢？
唯一合理的可能性是，我们需要设计一个更强大的架构${\mathcal{F}}^{\prime }$。换句话说，我们预计fF′∗f^*_{\mathcal{F}'}