Coursera Deeplearning.ai「深度学习」课程笔记L4.W2深度卷积神经网络：实力探究

1 - 残差网络(Residual Networks (ResNets))

如上图所示，$x$表示输入，$F(x)$ 表示残差块在第二层激活函数之前的输出，即 $F(x)=W_2\sigma (W_{1}x)$，其中 $W_1$ 和 $W_2$ 表示第一层和第二层的权重，$\sigma$ 表示 ReLU 激活函数（这里省略了 bias）。最后残差块的输出是 $\sigma (F(x)+x)$。