【花书阅读笔记】第七章:深度学习中的正则化 Part I

本文详细介绍了深度学习中正则化的两种常见方法——L2参数正则化(权重衰减)和L1参数正则化。L2正则化通过惩罚权重平方和来防止过拟合,导致权重向量沿着Hessian矩阵较大特征值方向收缩。L1正则化则倾向于产生稀疏权重,鼓励更多的参数为0。此外,还讨论了数据集增强和多任务学习对提高模型泛化能力的作用。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

【花书阅读笔记】第七章:深度学习中的正则化 Part I

参数范数惩罚

许多正则方法是对目标函数JJJ添加了一个惩罚范数Ω(θ)\Omega(\theta)Ω(θ)
J~(θ;X,y)=J(θ;X,y)+αΩ(θ) \tilde{J}(\boldsymbol{\theta} ; \boldsymbol{X}, \boldsymbol{y})=J(\boldsymbol{\theta} ; \boldsymbol{X}, \boldsymbol{y})+\alpha \Omega(\boldsymbol{\theta}) J~(θ;X,y)=J(θ;X,y)+αΩ(θ)
其中 α∈[0,∞)\alpha \in[0, \infty)α[0,) 是权衡范数惩罚项 Ω\OmegaΩ 和标准目标函数 J(X;θ)J(X ; \theta)J(X;θ) 相对贡献的超参数。 将 \alpha 设为 0 表示没有正则化。 α\alphaα 越大,对应正则化惩罚越大。

在探究不同范数的正则化表现之前,我们需要说明一下,在神经网络中,参数包括每一层仿射变换的权重和偏置,我们通常只对权重做惩罚而不对偏置做正则惩罚。

L2L^{2}L2 参数正则化

**权重衰减(weight decay)**的 L 2 参数范数惩罚:

通过向目标函数添加一个正则项Ω(θ)=12∥w∥22\Omega(\boldsymbol{\theta})=\frac{1}{2}\|\boldsymbol{w}\|_{2}^{2}Ω(θ)=21w22,使权重更加接近原点。

这样一个模型具有以下总的目标函数:
J~(w;X,y)=α2w⊤w+J(w;X,y) \tilde{J}(\boldsymbol{w} ; \boldsymbol{X}, \boldsymbol{y})=\frac{\alpha}{2} \boldsymbol{w}^{\top} \boldsymbol{w}+J(\boldsymbol{w} ; \boldsymbol{X}, \boldsymbol{y}) J~(w;X,y)=2αww+J(w;X,y)
与之对应的梯度为
∇wJ~(w;X,y)=αw+∇wJ(w;X,y) \nabla_{w} \tilde{J}(\boldsymbol{w} ; \boldsymbol{X}, \boldsymbol{y})=\alpha \boldsymbol{w}+\nabla_{w} J(\boldsymbol{w} ; \boldsymbol{X}, \boldsymbol{y}) wJ~(w;X,y)=αw+wJ(w;X,y)
使用单步梯度下降更新权重,即执行以下更新:
w←w−ϵ(αw+∇wJ(w;X,y)) \boldsymbol{w} \leftarrow \boldsymbol{w}-\epsilon\left(\alpha \boldsymbol{w}+\nabla_{w} J(\boldsymbol{w} ; \boldsymbol{X}, \boldsymbol{y})\right) wwϵ(αw+wJ(w;X,y))
每步执行通常的梯度更新之前先收缩权重向量(将权重向量乘以一个常数因子)

w∗=arg⁡min⁡wJ(w)\boldsymbol{w}^{*}=\arg \min _{\boldsymbol{w}} J(\boldsymbol{w})w=argminwJ(w)

则假设目标函数是二次的,比如以均方误差作为拟合的线性回归情况,近似的 J^(θ)\hat{J}(\theta)J^(θ)
J^(θ)=J(w∗)+12(w−w∗)⊤H(w−w∗) \hat{J}(\boldsymbol{\theta})=J\left(\boldsymbol{w}^{*}\right)+\frac{1}{2}\left(\boldsymbol{w}-\boldsymbol{w}^{*}\right)^{\top} \boldsymbol{H}\left(\boldsymbol{w}-\boldsymbol{w}^{*}\right) J^(θ)=J(w)+

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值