【花书阅读笔记】第七章：深度学习中的正则化 Part I

【花书阅读笔记】第七章：深度学习中的正则化 Part I

参数范数惩罚

许多正则方法是对目标函数$J$添加了一个惩罚范数$\Omega (\theta )$
$$\tilde{J}(\mathbf{\theta };\mathbf{X},\mathbf{y})=J(\mathbf{\theta };\mathbf{X},\mathbf{y})+\alpha \Omega (\mathbf{\theta })$$
其中 $\alpha \in [0,\infty )$ 是权衡范数惩罚项 $\Omega$ 和标准目标函数 $J(X;\theta )$ 相对贡献的超参数。 将 \alpha 设为 0 表示没有正则化。 $\alpha$ 越大，对应正则化惩罚越大。

在探究不同范数的正则化表现之前，我们需要说明一下，在神经网络中，参数包括每一层仿射变换的权重和偏置，我们通常只对权重做惩罚而不对偏置做正则惩罚。

$L^2$ 参数正则化

**权重衰减（weight decay）**的 L 2 参数范数惩罚:

通过向目标函数添加一个正则项$\Omega (\mathbf{\theta })=\frac{1}{2}\Vert \mathbf{w}{\Vert }_2^2$，使权重更加接近原点。

这样一个模型具有以下总的目标函数：
$$\tilde{J}(\mathbf{w};\mathbf{X},\mathbf{y})=\frac{\alpha }{2}{\mathbf{w}}^{\top }\mathbf{w}+J(\mathbf{w};\mathbf{X},\mathbf{y})$$
与之对应的梯度为
$${\nabla }_w\tilde{J}(\mathbf{w};\mathbf{X},\mathbf{y})=\alpha \mathbf{w}+{\nabla }_{w}J(\mathbf{w};\mathbf{X},\mathbf{y})$$
使用单步梯度下降更新权重，即执行以下更新：
$$\mathbf{w}\leftarrow \mathbf{w}-ϵ\left(\alpha \mathbf{w}+{\nabla }_{w}J(\mathbf{w};\mathbf{X},\mathbf{y})\right)$$
每步执行通常的梯度更新之前先收缩权重向量（将权重向量乘以一个常数因子）

另 ${\mathbf{w}}^{\ast }=\arg {\min }_{\mathbf{w}}J(\mathbf{w})$

则假设目标函数是二次的，比如以均方误差作为拟合的线性回归情况，近似的 $\hat{J}(\theta )$
J^(θ)=J(w∗)+12(w−w∗)⊤H(w−w∗) \hat{J}(\boldsymbol{\theta})=J\left(\boldsymbol{w}^{*}\right)+\frac{1}{2}\left(\boldsymbol{w}-\boldsymbol{w}^{*}\right)^{\top} \boldsymbol{H}\left(\boldsymbol{w}-\boldsymbol{w}^{*}\right) J^(θ)=J(w∗)+