权重衰减来解决过拟合问题

本文解释了如何通过权重衰减,即在损失函数中添加权重范数来抑制模型过拟合。通过理解权重范数与模型复杂度的关系,以及权重对激活函数影响,我们发现较小的权重意味着更低的复杂度。加入权重范数促使权重值减小,从而降低模型复杂,提高泛化能力。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

过拟合是因为模型过于复杂使得噪声都训练数据集中的噪声都拟合进去了,从而导致训练出来的模型泛化能力变差。(训练误差减小而泛化误差增大)

为了解决过拟合现象,使用权重衰减的方法,就是将原来的损失函数加上一个权重范数。

L( w,b)+\frac{\lambda }{2}\left \| w \right \|^{2}

思路:通过加上一个权重范数来降低模型的复杂程度,从而解决过拟合问题。

1.为什么加上权重范数就能降低模型的复杂程度,因为权重范数越小模型的复杂程度就越小。

2.为什么权重越小模型复杂度越小,可以通过激活函数sigmoid函数来理解。

权重和偏置组成的函数(wx+b)作为激活函数的自变量,从图中可以看出激活函数的自变量在0附近时,越符合线性,越远离0时,越符合非线性,线性的复杂度是小于非线性的复杂度的。故权重的值会使模型复杂度减小。

3.为什么加入权重范数项就会使权重的值变小?观察下图

 右上椭圆是没加权重范数的情况是L(w,b),左下的虚线同心圆是权重的2范数。为什么是圆,可以从权重的平方考虑,平方就是圆,很好理解。最终目的是损失函数加上权重范数的和最小,当图中w*大时,w*的范数也很大,很明显不符合要求。为了符合要求w*会被往原点拉,直到损失函数值与权重w范数的和最小时停止拉,就是w~那个点。可以明显看出w~是比w*小的,故加入权重范数项会使权重减小。

总结:加入权重范数→权重减小→模型复杂度降低→过拟合程度降低

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值