详细分析L1和L2正则化

正则化通过增加惩罚项防止过拟合,提高模型泛化能力。L1正则化引入拉普拉斯先验,产生稀疏解,适合特征关联情况,用于特征选择。L2正则化基于高斯先验,保持模型稳定性,适用于低维稠密特征。L0范数优化问题NP难,故常用L1和L2。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

正则化:用来控制模型复杂度,减少过拟合,提高泛化能力。一般通过在目标函数中增加惩罚项实现:
目标函数 + α倍的权重范数(L1 or L2),其中α控制正则化强弱。

L1正则化:
1.解空间的解释:加上了菱形约束,容易在尖角处碰撞出解
2.贝叶斯估计角度解释:假设w的先验分布服从拉普拉斯分布,在0点的概率要更高

L2正则化:
1.解空间角度解释:加了球形约束,等高线切在圆上
2.贝叶斯估计角度解释:假设w的先验分布服从高斯分布,在0点附近的概率更大且相近

相同点: 都可用于减小过拟合,提高模型泛化能力。
不同点: L1保证模型的稀疏性,可以让一部分特征的系数缩小到0,从而间接实现特征选择。所以L1适用于特征之间有关联的情况。L2保证模型的稳定性,让所有特征的系数都缩小,但是不会减为0,也就是参数的值不会太大或太小,它会使优化求解稳定快速。
【注:下面数学理论分析会解释为何L1会产生稀疏解,而L2只是对不同权重做不同程度的放缩】

 在实际使用中,

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

#苦行僧

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值