20、机器学习中的反向传播、正则化与核化计算

机器学习中的反向传播、正则化与核化计算

1. 反向传播算法

梯度下降通常被称为反向传播，因为在以正向方式计算残差后，我们可以计算输出残差 $r$，并在逐层计算梯度时将其反向传播。

1.1 三层神经网络梯度计算

为了让大家更熟悉相关符号和偏导数模式，我们简要展示三层神经网络的梯度计算结果。为了更方便地使用链式法则，我们在网络的每一层定义残差：
[
\begin{align }
r &= b + w^Ta\
r^{(1)} &= c^{(1)} + V^{(1)T}a\
r^{(2)} &= c^{(2)} + V^{(2)T}a\
r^{(3)} &= c^{(3)} + V^{(3)T}x_p
\end{align }
]

利用链式法则，第三层的导数可以计算如下：
[
\begin{align }
\frac{\partial h}{\partial c^{(3)} i} &= \frac{\partial h}{\partial r}\sum {n_1 = 1}^{M_1}\frac{\partial r}{\partial a^{(1)} {n_1}}\frac{\partial a^{(1)} {n_1}}{\partial r^{(1)} {n_1}}\left(\sum {n_2 = 1}^{M_2}\frac{\partial r^{(1)} {n_1}}{\partial a^{(2)}