L1和L2正则化区别

最新推荐文章于 2025-07-14 23:43:50 发布
原创 最新推荐文章于 2025-07-14 23:43:50 发布 · 3.2w 阅读 · 30 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了L1正则化(LassoRegression)和L2正则化(RidgeRegression)的概念及其在避免过拟合方面的应用，并对比了两者之间的异同点。此外，还介绍了将L1和L2优点相结合的ElasticNet方法。

1. L1和L2的定义

L1正则化，又叫Lasso Regression

如下图所示，L1是向量各元素的绝对值之和



L2正则化，又叫Ridge Regression

如下图所示，L2是向量各元素的平方和



2. L1和L2的异同点

相同点：都用于避免过拟合

不同点：L1可以让一部分特征的系数缩小到0，从而间接实现特征选择。所以L1适用于特征之间有关联的情况。

              L2让所有特征的系数都缩小，但是不会减为0，它会使优化求解稳定快速。所以L2适用于特征之间没有关联的情况


3.L1和L2的结合

L1和L2的优点可以结合起来，这就是Elastic Net



参考：http://blog.youkuaiyun.com/sinat_26917383/article/details/52092040

vincent2610
关注
正则化项L1和L2的区别
quanhujing的专栏
08-04 1684
一、概括： L1和L2是正则化项，又叫做罚项，是为了限制模型的参数，防止模型过拟合而加在损失函数后面的一项。 二、区别： 　　1.L1是模型各个参数的绝对值之和。 　　　L2是模型各个参数的平方和的开方值。 　　2.L1会趋向于产生少量的特征，而其他的特征都是0. 　　　 因为最优的参数值很大概率出现在坐标轴上，这样就会导致某一维的权重为0 ，产生稀疏权重矩阵 　　 L2会选择更多的特征，这些特征都会接近于0。 最优的参数值很小概率出现在坐标轴上，因此每一...
《算法面试必刷：15 个高频 LeetCode 题（附代码）》
最新发布
2501_93877981的博客
11-02 900
以上15个高频 LeetCode 题覆盖了数组、链表、字符串、树、动态规划、回溯等核心算法主题。掌握这些题能显著提升算法面试成功率。理解每个题的解题思路，避免死记硬背。在 LeetCode 平台实践，测试边界条件。扩展学习类似题目，如“四数之和”或“子集问题”。如果您有具体题目或细节疑问，欢迎随时提问！
机器学习中正则化项L1和L2的直观理解
热门推荐
小平子的专栏
03-02 43万+
正则化（Regularization） 机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作ℓ1ℓ1\ell_1-norm和ℓ2ℓ2\ell_2-norm，中文称作L1正则化和L2正则化，或者L1范数和L2范数。 L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。对于线性回归模型，使用L1正则化的模型建叫做...
L1正则化和L2正则化的区别
Vodka_Lou的博客
04-24 1万+
文章目录前言一、L1和L2正则化是什么？二、区别三、其他问题 前言 在防止过拟合的方法中有L1正则化和L2正则化，那么这两者有什么区别呢？ 一、L1和L2正则化是什么？ L1和L2是正则化项，又叫做惩罚项，是为了限制模型的参数，防止模型过拟合而加在损失函数后面的一项。 二、区别 L1是模型各个参数的绝对值之和。 L2是模型各个参数的平方和的开方值。 L1会趋向于产生少量的特征，而其他的特征都是0。 因为最优的参数值很大概率出现在坐标轴上，这样就会导致某一维的权重为0 ，产生稀疏权重矩阵 L2会选..
常见的正则化方法以及L1，L2正则化的简单描述
2301_76846375的博客
09-09 3034
L1 正则化通过让一些权重趋向于零，从而减少不必要的特征，简化模型。L2 正则化通过让权重整体变小，避免某些权重过大，从而减少过拟合的风险。在实际应用中，L1 更适合做特征选择，而 L2 更适合处理权重过大的问题。有时我们可以结合两者的优势，使用 Elastic Net 正则化，兼具稀疏性和权重缩小的效果。L1 正则化对每个权重 www 的更新，在原有的梯度更新基础上，施加了一个与权重符号相关的减小量。简单来说，L1 正则化的惩罚项是权重 www 的绝对值，因此对不同符号的权重，影响也不同。
L1与L2正则化详解：原理、API使用与实践指南
wyy202206174248的博客
07-14 1393
正则化是机器学习中防止模型过拟合的核心技术之一，其核心思想是通过在损失函数中添加惩罚项来约束模型参数的大小，从而控制模型的复杂度。在模型训练过程中，正则化能够有效地抑制参数值过度增长，避免模型对训练数据中的噪声和异常值过分敏感。L1正则化（Lasso回归）通过在损失函数中添加模型参数的L1范数作为惩罚项公式表示为：损失函数 + λΣ|w_i|具有特征选择的能力，可以将不重要特征的系数压缩为0适用于高维特征空间中的稀疏特征选择典型应用场景：基因选择、文本分类的特征筛选。
正则化的作用以及L1和L2正则化的区别
Lavi的专栏
08-21 3万+
0 正则化的作用 正则化的主要作用是防止过拟合，对模型添加正则化项可以限制模型的复杂度，使得模型在复杂度和性能达到平衡。 常用的正则化方法有L1正则化和L2正则化。L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。 L1正则化的模型建叫做Lasso回归，使用L2正则化的模型叫做Ridge回归（岭回归。但是使用正则化来防止过拟合的原理是什么？L1和L...
【深度学习】正则化方法——L1和L2正则化
第三季度的博客
05-27 6171
凡是能解决模型泛化误差而不是训练误差的方法，都被称为正则化。模型的泛化误差主要是由模型过拟合引起的，所以正则化的各种方法用于解决模型过拟合的问题。
正则化L1和L2的区别
liujianjun的专栏
10-17 1298
L1正则化（Lasso正则化）L1正则化通过在损失函数中添加模型参数绝对值之和的正则项来限制模型的复杂度。其公式为：其中，Loss表示原始损失函数，(w_i)表示模型参数，(\lambda)为正则化系数，用于控制正则化的强度。L2正则化（Ridge正则化）L2正则化通过在损失函数中添加模型参数平方和的正则项来限制模型的复杂度。其公式为：同样地，Loss表示原始损失函数，(w_i)表示模型参数，(\lambda)为正则化系数。
机器学习——L1正则化与L2正则化 区别
suyongcai1234的博客
03-18 493
L1正则化和L2正则化的区别 L1正则化 L1正则化又称Lasso正则化， 正则化项为 ： L2正则化 L2正则化利用二范数 正则化项 ： 共同点 二者都是为了防止过拟合，用来限制模型参数的参数空间 不同点 L1可以让一部分特征的系数缩小到0，从而间接实现特征选择。所以L1适用于特征之间有关联的情况。 L2让所有特征的系数都缩小，但是不会减为0，它会使优化求解稳定快速。所以L2适用于特征之间没...
L1正则化与L2正则化的区别
ybdesire的专栏
12-10 2万+
摘要 正则化的本质是在Cost Function中添加的p-范数。本文从正则化的本质p-范数入手，解释了L1正则化和L2正则化的区别。 正则化 在Cost Function上添加了正则化项，就能降低模型的过拟合程度，这就是正则化的作用。 关于正则化更细节的讲述，请参考为什么正则化能减少模型过拟合程度。 正则化项的不同，就产生了L1正则化和L2正则化。L1正则化和L2正则化的表达式，其实就是1-范数...
l1和l2正则化区别
LJYPython的博客
09-12 1106
L1和L2是正则化项，又叫做惩罚项，是为了限制模型的参数，防止模型过拟合而加在损失函数后面的一项。
L1与L2正则的比较
frighting_ing的博客
03-10 1307
L1L1L1与L2L2L2正则的区别 正则化(RegularizationRegularizationRegularization) 是机器学习中对原始损失函数引入惩罚项，以防止过拟合或提高模型泛化性能的一类方法的统称。所谓惩罚是指对损失函数中的某些参数做一些限制。此时目标函数变成了原始损失函数+惩罚项，常用的正则项一般有两种，英文称作l1−norml_{1}−norml1​−norm和l2−norml_{2}−norml2​−norm，中文称作L1L1L1正则化和L2L2L2正则化，或者L1L1L1范数和
L1正则化和L2正则化的区别？
qq_37089829的博客
09-25 838
L1正则化目的：减少参数的绝对值总和。 L2正则化目的：减少参数平方的总和。 由L1正则化的定义可以看出最优的参数值很大概率出现在坐标轴上，这样就会导致某一维的权重为0，产生稀疏权重矩阵； 而L2正则化的最优参数值很小概率出现在坐标轴上，因此每一维的参数都不会是0； 另外一个区别就是： L1正则化可通过假设权重w的先验分布为拉普拉斯分布，由最大后验概率估计导出。 L2正则化可通过假设权重w的先验分布为高斯分布，由最大后验概率估计导出。 ...
【深度学习基础知识 - 38】L1正则化和L2正则化的区别
yanyuxiangtoday的博客
08-27 1938
概念 L1正则化就是在损失函数中加的正则化项为模型参数的L1范数。 L2正则化就是在损失函数中加的正则化项为模型参数的L2范数。 目的 通过在损失函数中增加权重正则化项，可以避免模型变得过于复杂或者说防止模型的参数过大，从而提升模型的泛化性能。 L1正则化和L2正则化的差异 加上L1范数容易得到特征的系数解，也就是很多参数为0，加上L2范数得到的特征解比较平滑，但是同样能保证解中接近于0的比较多。从倒数的角度来看，L1范数在零点处有个突变，也就是极小值点，因此很容易优化到这个极值点上。 博主会
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值