L1与L2正则化解析-优快云博客

本文链接：https://blog.youkuaiyun.com/qq_30129009/article/details/115366921

本文探讨了L1正则化和L2正则化如何减少过拟合风险，重点分析了L1正则化能获得稀疏解的原因，通过图形直观展示和导数解释两种方式进行了说明。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在复习到过拟合的解决方法的时候L1正则化和L2正则化都可以用于降低过拟合的风险，但是L1正则化还会带来一个额外的好处：它比L2正则化更容易获得稀疏解，也就是说它求得的w权重向量具有更少的非零分量。主要就其为什么可以防止过拟合总结一下，相当于写个小笔记。
首先L1和L2正则降低了模型的复杂度，是对模型复杂度的惩罚。并且L1正则能够得到稀疏解，L2正则能够得到平滑解。

1、首先为什么L1正则能够得到稀疏解呢？

1.1 用图解释：
l1正则用一个菱形去逼近目标，而l2正则用一个圆形去逼近目标，所以在逼近的过程过，l1正则更容易在坐标轴和目标相交，得到稀疏解，而l2正则相比于l1正则而言，则更容易在非坐标轴和目标相交。
在这里插入图片描述
假定x有两个属性，于是无论是采用L1正则化还是采用L2正则化，它们解出的w权重向量都具有两个分量，即w1,w2；我们将其作为两个坐标轴，然后在这个二维空间中绘制

平方误差取值相同的连线，再分别绘制出L1范数和L2范数的等值线，那么我们的解就是平方误差等值线和范数等值线的焦点。从图上（机器学习周志华 253页）我们可以看出L1范数和平方误差等值曲线的交点经常落在坐标轴上，而L2范数和平方误差等值曲线的交点只是分量比较小。所以我们说L1正则化比L2正则化更容易获得稀疏解，因为L1正则化的权重向量的分量为零的可能性更大。
L1正则化的稀疏性解释

1.2 从导数角度解释

引入L2正则时，代价函数在0处的导数仍是 $d_{0}$ ，无变化。而引入L1正则后，代价函数在0处的导数有一个突变。从 $d_{0} + λ$ 到 $d_{0} - λ$ ，若 $d_{0} + λ$ 和 $d_{0} - λ$ 异号，则在0处会是一个极小值点。因此，优化时，很可能优化到该极小值点上，即 $w = 0$ 处。
L1正则为什么更容易获得稀疏解