logistic回归（二）logistic的正则化

最新推荐文章于 2023-09-18 11:05:07 发布

weixin_41611045

最新推荐文章于 2023-09-18 11:05:07 发布

阅读量2k

点赞数

CC 4.0 BY-SA版权

分类专栏：简历及机器学习

本文链接：https://blog.youkuaiyun.com/weixin_41611045/article/details/101165076

简历及机器学习专栏收录该内容

14 篇文章

订阅专栏

本文探讨了在Logistic回归中如何利用L1和L2正则化防止过拟合，详细分析了L1正则化的稀疏性特点及其在特征选择中的优势，同时对比了L1和L2正则化在优化过程中的差异。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

正如前面线性回归一样，logistic一样会产生过拟和，那么对于过拟合以后的
logistic回归我们还是采用L1与L2正则来进行防止过拟合。
求解过程如下：
在这里插入图片描述
2、对于L1正则，和线性回归的L1正则类似，同样采用角坐标的方法进行求解，具体请参考线性回归求解

L1比起L2范数具有稀疏性的特点。比如我们把L1应用在逻辑回归，则最后得出来的参数很多会变成0。所以L1范数也可以用于特征选择。
那为什么L1会产生稀疏性，则L2范数却没有这个特点呢这个问题可以从几何的角度来考虑。
在这里插入图片描述
从图中可以看出，L1正则的往往会使最优的切分点在坐标轴上。
那么是不是L1一定比L2要好呢：
2、L1和L2的区别
比起L2，L1确实有更多的功效。但从计算的角度来讲，L1范数的挑战要大很多。一旦目标函数里包含了L1的正则，则优化起来会比较麻烦。主要的原因是L1范数在0点不具备梯度，所以需要做一些特殊处理，比如使用subgradient来代替梯度。
在这里插入图片描述
所以往往L1更多的是用来做特征选择的。
3、最大后验概率

logistic回归时选择的是最大化先验估计，而最大化后验估计则是将这个结果反过来，代表在样本已知的情况下，使得θ的可能性最大，可以表示为后面那个式子。
在这里插入图片描述
其中将（ $0 - l o g \sqrt 2 Π σ$ 舍去，是因为σ已知是个常数和θ没有关系）