正则化时，L1比L2更容易使参数变得稀疏

最新推荐文章于 2025-07-09 14:00:24 发布
最新推荐文章于 2025-07-09 14:00:24 发布
阅读量490 收藏 1
点赞数
探讨L1和L2正则化如何影响模型参数的最优值，特别是在使参数值趋于零的作用上，以及它们如何导致模型变得更加稀疏。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

假设费用函数 L 与某个参数 x 的关系如图所示：


则最优的 x 在绿点处，x 非零。

 

现在施加 L2 regularization，新的费用函数（L + Cx^2）如图中蓝线所示：

最优的 x 在黄点处，x 的绝对值减小了，但依然非零。

 

而如果施加 L1 regularization，则新的费用函数（L + C|x|）如图中粉线所示：

最优的 x 就变成了 0。这里利用的就是绝对值函数的尖峰。

 

两种 regularization 能不能把最优的 x 变成 0，取决于原先的费用函数在 0 点处的导数。
如果本来导数不为 0，那么施加 L2 regularization 后导数依然不为 0，最优的 x 也不会变成 0。
而施加 L1 regularization 时，只要 regularization 项的系数 C 大于原先费用函数在 0 点处的导数的绝对值，x = 0 就会变成一个极小值点。

上面只分析了一个参数 x。事实上 L1 regularization 会使得许多参数的最优值变成 0，这样模型就稀疏了。

 

转：链接：https://www.zhihu.com/question/37096933/answer/70426653

calm___down
关注
准确率，精准率，召回率，真正率，假正率，ROC/AUC
chase
08-24 4万+
准确率，精准率，召回率，真正率，假正率，ROC/AUC
机器学习中正则化项L1和L2的直观理解
热门推荐
小平子的专栏
03-02 43万+
正则化（Regularization） 机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作ℓ1ℓ1\ell_1-norm和ℓ2ℓ2\ell_2-norm，中文称作L1正则化和L2正则化，或者L1范数和L2范数。 L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。对于线性回归模型，使用L1正则化的模型建叫做...
L1 正则为什么会使参数偏向稀疏
aitie1479的博客
12-09 266
2018-12-09 22:18:43 假设费用函数 L 与某个参数 x 的关系如图所示： 则最优的 x 在绿点处，x 非零。 现在施加 L2 regularization，新的费用函数（）如图中蓝线所示： 最优的 x 在黄点处，x 的绝对值减小了，但依然非零。 而如果施加 L1 regularization，则新的费用函数（）如图中粉线所示： 最优的 x 就变成了 ...
L1正则化使得模型参数具有稀疏性的原理
netcaoniao的专栏
06-08 2128
这个问题是在看正则化的问题引出的，正则化(regularization)是为了解决模型过拟合的问题引出的，为什么会发生过拟合的问题呢，Sparsity and Some Basics of L1 Regularization这篇文章中有提到。 该文章中以线性回归为例,是数据矩阵，是由标签组成的列向量。该问题具有解析解 其中p表示的是特征的维度，n表示的是样本数据的数量，当p远大于n的时...
准确率（Precision）和召回率（Recall）——小白都能懂的解释
牧晨加油站
07-09 673
准确率和召回率是评估分类模型性能的关键指标。准确率衡量预测正类的可靠性（TP/(TP+FP)），召回率反映对正类的覆盖能力（TP/(TP+FN)）。二者存在权衡关系：提高准确率可能降低召回率，反之亦然。实际应用中需根据场景选择侧重（如医疗重召回率，垃圾邮件过滤重准确率），或使用F1分数（两者的调和平均）综合评估。典型示例中，某疾病检测模型准确率和召回率均为75%，体现了二者在不同业务需求中的差异化应用价值。
机器学习：准确率(Precision)、召回率(Recall)、F值(F-Measure)、ROC曲线、PR曲线
小太阳~
04-26 30万+
以下第一部分内容转载自：机器学习算法中的准确率(Precision)、召回率(Recall)、F值(F-Measure)是怎么一回事摘要：数据挖掘、机器学习和推荐系统中的评测指标—准确率(Precision)、召回率(Recall)、F值(F-Measure)简介。 引言：在机器学习、数据挖掘、推荐系统完成建模之后，需要对模型的效果做评价。业内目前常常采用的评价指标有准确率(Precision)、召
准确率、精确率、召回率、F1值、ROC/AUC整理笔记
学习容易上瘾
07-09 14万+
对于二分类问题，机器预测的和实际的还是会有所偏差，所以我们引入以下几个概念来评价分类器的优良。 一、TP、TN、FP、FN概念 首先有关TP、TN、FP、FN的概念。大体来看，TP与TN都是分对了情况，TP是正类，TN是负类。则推断出，FP是把错的分成了对的，而FN则是把对的分成了错的。（我的记忆方法：首先看第一个字母是T则代表分类正确，反之分类错误；然后看P，在T中则是正类，若在F中则实际为...
用 Python 从零开始创建神经网络（十四）：L1 和 L2 正则化（L1 and L2 Regularization）
xzs1210652636的博客
12-03 1338
正则化方法旨在降低泛化误差。我们首先讨论的正则化形式是L1正则化和L2正则化。L1和L2正则化用于计算一个数值（称为惩罚项），将其添加到损失值中，以惩罚模型中权重和偏置过大的情况。过大的权重可能表明某个神经元试图记忆数据元素；一般认为，让多个神经元共同对模型输出做出贡献要比依赖少数几个神经元更好。
常见的正则化方法以及L1，L2正则化的简单描述
2301_76846375的博客
09-09 2893
L1 正则化通过让一些权重趋向于零，从而减少不必要的特征，简化模型。L2 正则化通过让权重整体变小，避免某些权重过大，从而减少过拟合的风险。在实际应用中，L1 更适合做特征选择，而 L2 更适合处理权重过大的问题。有时我们可以结合两者的优势，使用 Elastic Net 正则化，兼具稀疏性和权重缩小的效果。L1 正则化对每个权重 www 的更新，在原有的梯度更新基础上，施加了一个与权重符号相关的减小量。简单来说，L1 正则化的惩罚项是权重 www 的绝对值，因此对不同符号的权重，影响也不同。
l1_ls_matlab_L1正则化问题_正则化_
09-29
与L2正则化（参数的平方和）不同，L1正则化有使某些参数趋于零的倾向，从而实现特征选择或稀疏解。这种特性在高维数据中尤其有用，因为它可以帮助我们找出哪些特征对预测结果最重要。 在MATLAB中实现L1正则化的线性...
正则化技术剖析：L1、L2 与 Dropout
轻口味的专栏
05-08 598
正则化（Regularization）技术作为深度学习中控制模型复杂度、防止过拟合的重要手段，贯穿于模型设计与训练的各个环节。在面对大规模模型与高维数据时，正则化不仅仅是一种“辅助工具”，更是一种影响泛化性能与训练效率的关键机制。本文将从原理推导、几何直观、数学公式与工程实现等多个角度，深入剖析 L1 正则化、L2 正则化与 Dropout 技术，并结合实际应用场景探讨它们的优势与适用条件。正则化通过对模型参数的约束，引入额外偏置（bias），以换取方差（variance）的降低，最终实现更好的泛化能力。
召回率 (Recall)
大连赵哥的博客
07-26 5300
召回率 (Recall)
什么是精确率Precision和召回率Recall？
weixin_43918046的博客
05-27 1987
二分类任务中只有正样本和负样本，即标签为1或0。而我们模型的目标就是尽可能去把所有的正样本的都准确的找出来，于是涉及到精确率Precision和召回率Recall。计算召回率：真实的正样本数目为3，而模型预测为准确的正样本数目为2，也就是3条有2条被找出来了，召回率=2/3。计算精确率：预测为正样本的数目为5，但其中只有2条是真的正样本，也就是只有2条被成功预测正确了，精确率=2/5。精确率Precision：指模型预测为正样本的数据中有多少是真的正样本。有10条数据，3条正样本，7条负样本。
准确率、精确率、召回率、F-measure值、Map
ding_programmer的博客
05-01 7654
准确率、召回率和 F 值是在鱼龙混杂的环境中，选出目标的重要评价指标。不妨看看这些指标的定义先： TP-将正类预测为正类 FN-将正类预测为负类 FP-将负类预测为正类 TN-将负类预测为负类 准确率（precision）： 也叫作查准率。即正确预测为正...
机器学习中，召回率是什么概念？
余璜的技术博客
03-04 5806
在多分类问题中，计算召回率通常需要把每个类别都当作是“正类”，而所有其他类别都是“负类”，然后分别对每个类别计算召回率。最后，你可能会对所有类别的召回率取平均，得到一个总的召回率指标，这在多分类问题中被称为宏平均召回率（Macro-Averaged Recall）。准确率是指在所有被模型识别为正类的样本中，正确识别的比例。例如，计算“2”的召回率就是在所有实际标记为数字“2”的样本中，有多少被模型正确地识别为“2”。对于“猫”这个类别，召回率将是在所有真实为“猫”的图片中，有多少被模型正确识别为“猫”。
召回率和准确率理解
小泽爱刷题的博客
09-03 3279
召回率衡量的是实际为正类的样本中被正确识别为正类的比例。
如何通俗理解准确率、精确率、召回率、F1score、AUC、ROC
An_oak的博客
08-13 6180
本文我会用最通俗的语言帮助大家快速理解并记住准确率、精确率、召回率、F1score，AUC、ROC以及特异度。这些指标其实乍一看能知道都是什么，但是一用起来记不住定义。
为什么L1稀疏L2平滑？
li8zi8fa的博客
08-28 7239
两种解释———————————— 1、从L1和L2的来源看 当你想从一个手头的数据集中学习出一套规则时，贝叶斯学派认为仅仅使用这些数据是不够的，还需要加入先验知识。如果你在损失函数中使用了L1正则项，那么其实质就是加入了拉普拉斯先验分布，即认为数据是符合拉普拉斯分布的；如果你使用了L2正则项，那么就是加入了高斯先验分布，即认为数据是符合高斯分布的。一般由于推导和计算方便，会对分布函数取
L1和L2正则化。L1为什么能产生稀疏值，L2更平滑
dgs66009的博客
12-04 613
参考博客：https://zhuanlan.zhihu.com/p/35356992 　　　　　https://zhuanlan.zhihu.com/p/25707761 　　　　　https://www.zhihu.com/question/37096933/answer/70426653 　　首先正则化项一般是模型复杂度的单调递增函数，模型越复杂，正则化的值会越大。 　　正则...
L1/L2正则化，L1/L2是什么
最新发布
07-28
### L1 正则化 L1 正则化，也称为 Lasso 正则化，是一种通过在损失函数中添加权重的绝对值之和来限制模型复杂度的方法。具体来说，L1 正则化的目标函数可以表示为： $$ J(\theta) = \text{Loss}(\theta) + \lambda \sum_{i=1}^{n} |\theta_i| $$ 其中，$\text{Loss}(\theta)$ 是模型的原始损失函数，$\theta_i$ 是模型的参数，$\lambda$ 是正则化系数，用于控制正则化项的强度。L1 正则化的一个显著特点是它倾向于产生稀疏的权重矩阵，即很多权重会被压缩为零。这种特性使得 L1 正则化在特征选择中非常有用，因为它可以帮助模型自动忽略那些不重要的特征[^1]。 ### L2 正则化 L2 正则化，也称为 Ridge 正则化，是另一种常见的正则化方法，它通过在损失函数中添加权重的平方和来限制模型复杂度。L2 正则化的目标函数可以表示为： $$ J(\theta) = \text{Loss}(\theta) + \lambda \sum_{i=1}^{n} \theta_i^2 $$ 与 L1 正则化不同，L2 正则化不会使权重变为零，而是会使权重接近零。这意味着 L2 正则化不会进行特征选择，而是通过减小权重的大小来降低模型的复杂度。L2 正则化有助于防止模型过拟合，特别是在特征之间存在多重共线性的情况下[^1]。 ### L1 和 L2 正则化的区别 尽管 L1 和 L2 正则化都旨在通过限制模型复杂度来提高模型的泛化能力，但它们在效果上有显著的不同。L1 正则化通过引入稀疏性，使得模型能够进行特征选择，从而简化模型并提高解释性。而 L2 正则化则通过平滑权重分布来提高模型的稳定性，尤其是在数据量较少或特征间存在高度相关性的情况下。此外，L1 正则化的优化问题通常是非连续且不可导的，这可能导致优化过程中的困难；相比之下，L2 正则化的问题更加平滑，优化起来更为容易[^2]。 ### 代码示例 为了更好地理解 L1 和 L2 正则化的效果，下面提供了一个使用 Scikit-learn 库实现的简单线性回归模型，分别应用了 L1 和 L2 正则化： ```python from sklearn.linear_model import Lasso, Ridge from sklearn.datasets import make_regression from sklearn.model_selection import train_test_split from sklearn.metrics import mean_squared_error # 生成模拟数据集 X, y = make_regression(n_features=10, noise=0.1) X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # L1 正则化（Lasso） lasso = Lasso(alpha=0.1) lasso.fit(X_train, y_train) y_pred_lasso = lasso.predict(X_test) mse_lasso = mean_squared_error(y_test, y_pred_lasso) # L2 正则化（Ridge） ridge = Ridge(alpha=0.1) ridge.fit(X_train, y_train) y_pred_ridge = ridge.predict(X_test) mse_ridge = mean_squared_error(y_test, y_pred_ridge) print(f'Lasso MSE: {mse_lasso}') print(f'Ridge MSE: {mse_ridge}') ``` 在这个例子中，我们使用了 `Lasso` 和 `Ridge` 类来分别实现 L1 和 L2 正则化。通过调整 `alpha` 参数，可以控制正则化的强度。输出的均方误差（MSE）可以帮助我们评估两种正则化方法的效果[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值