深度学习笔记017：残差网络ResNet(Resnet是并连操作而非串联操作)

$$两种实现：右侧如果加不回去可能需要通道变换$$


两种ResNet块;

ResNet的梯度计算

$$\begin{gathered} y=f(x)，省略Loss,假设y里包含了Loss \\ w是靠近底层的一个参数，w=w-学习率\ast \frac{\partial y}{\partial w} \\ 所以不希望\frac{\partial y}{\partial w}很小，特别小的时候，数值稳定性会发生问题， \end{gathered}$$
$$\begin{gathered} 看看在网络上再加一层会怎样,比如在原有的十个卷积层上再加十层？：y^{\ast }=g(f(x)) \\ \frac{\partial y^{\ast }}{\partial w}=\frac{\partial g(y)}{\partial y}\ast \frac{\partial y}{\partial w} \\ 假设加的g层的拟合能力比较强的话，\frac{\partial g(y)}{\partial y}会是一个比较小的数值 \\ 这样越深的话，越是底层就越会出现问题 \end{gathered}$$

$$\begin{gathered} ResNet的解决方式： \\ {y}^{\ast \ast }=f(x)+g(f(x))=y+y^{\ast },则\frac{\partial y^{\ast \ast }}{\partial w}=\frac{\partial y}{\partial w}+\frac{\partial y^{\ast }}{\partial w}, \\ 这样即使\frac{\partial y^{\ast }}{\partial w}很小页无所谓，直接当作g不存在 \\ 这样将乘除变为加减，使得靠近数据层的w也能较快的更新 \end{gathered}$$

相关扩展知识