机器学习中 正则化项L1和L2 解读

最新推荐文章于 2025-03-22 23:18:11 发布
转载 最新推荐文章于 2025-03-22 23:18:11 发布 · 398 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://www.cnblogs.com/zingp/p/10375691.html
文章标签：

#机器学习 #python

正则化是机器学习中提升模型泛化能力的关键技术，通过在损失函数中添加惩罚项来避免过拟合。L1正则化（Lasso回归）和L2正则化（Ridge回归）是两种常见的方法，分别通过对参数施加L1范数和L2范数的约束来简化模型并减少特征权重的绝对值，从而达到模型压缩和稳定性的目的。

@创建于：20211019

正则化(Regularization) 是机器学习中对原始损失函数引入额外信息，以便防止过拟合和提高模型泛化性能的一类方法的统称。也就是目标函数变成了原始损失函数+额外项，常用的额外项一般有两种，英文称作ℓ1−norm和ℓ2−norm，中文称作L1正则化和L2正则化，或者L1范数和L2范数（实际是L2范数的平方）。

L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓惩罚是指对损失函数中的某些参数做一些限制。对于线性回归模型，使用L1正则化的模型叫做Lasso回归，使用L2正则化的模型叫做Ridge回归（岭回归）。

在这里插入图片描述
更详细内容请参考：
深入理解L1、L2正则化
机器学习中正则化项L1和L2的直观理解

正则化项L1和L2的区别
quanhujing的专栏
08-04 1684
一、概括： L1和L2是正则化项，又叫做罚项，是为了限制模型的参数，防止模型过拟合而加在损失函数后面的一项。 二、区别： 　　1.L1是模型各个参数的绝对值之和。 　　　L2是模型各个参数的平方和的开方值。 　　2.L1会趋向于产生少量的特征，而其他的特征都是0. 　　　 因为最优的参数值很大概率出现在坐标轴上，这样就会导致某一维的权重为0 ，产生稀疏权重矩阵 　　 L2会选择更多的特征，这些特征都会接近于0。 最优的参数值很小概率出现在坐标轴上，因此每一...
机器学习+一类错误、二类错误
data+scenario+science+insight
05-24 811
机器学习+一类错误、二类错误 在机器学习的分类问题中，最后需要去评估我们模型的优劣，这时候有众多的指标可以去考虑，之前两篇博客中也都有涉及，详情见： 机器学习 | 评价指标 分类问题 | 评价指标 在众多评价指标的计算中都得依赖于一个东东，他就是【混淆矩阵】，具体长下面这个样子，但有时候预测值和真实值位置会换过来，不过这个影响不大。 这其中有个很重要的统计思想：假设检验。源自英国一个故事-《女士品茶》。多说一句英国这个国家也是奇葩，当时整个国家都喜欢喝茶，那时候哪...
【机器学习】L1与L2正则化原理及其适用场景
weixin_46564151的博客
03-05 1250
L1与L2正则化原理及其适用场景
机器学习中 L1 和 L2 正则化
sinat_27784071的博客
11-22 419
降低过拟合的方法： 降低过拟合风险的方法 所有为了减少测试误差的策略统称为正则化方法，这些方法可能会以增大训练误差为代价。 数据增强 图像：平移、旋转、缩放 利用生成对抗网络（GAN）生成新数据 NLP：利用机器翻译生成新数据 降低模型复杂度 神经网络：减少网络层、神经元个数 决策树：降低树的深度、剪枝 ... 权值约束（添加正则化项） L1 正则化 ...
惩罚项介绍加L1L2正则介绍
qq_29837229的博客
04-01 865
机器学习中，损失函数后接的补充项就是惩罚项。训练中希望得到简洁，泛化能力强的模型。随着训练使用的数据越多，特征维度也多，模型泛化能力会变差，也就是过拟合，为了掌握一种平衡增加惩罚项。
L1惩罚项和L2惩罚项
zlrai5895的博客
12-10 1万+
            x即为参数。 L2正则化参数 从公式5可以看到，λλ越大，θjθj衰减得越快。另一个理解可以参考图2，λλ越大，L2圆的半径越小，最后求得代价函数最值时各参数也会变得很小。...
深度学习正则化-参数范数惩罚（L1,L2范数）
wangheng673的博客
11-24 1万+
L0范数惩罚 机器学习中最常用的正则化措施是限制模型的能力，其中最著名的方法就是L1和L2范数惩罚。         假如我们需要拟合一批二次函数分布的数据，但我们并不知道数据的分布规律，我们可能会先使用一次函数去拟合，再使用二次函数、三次、四次、等等次数的函数去拟合，从中选择拟合效果最好的一个函数来作为我们最终的模型。         上面的方法未免显得有些太繁琐，如果有一批数据输入指数为...
机器学习中正则化项L1和L2的直观理解
热门推荐
小平子的专栏
03-02 43万+
正则化（Regularization） 机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作ℓ1ℓ1\ell_1-norm和ℓ2ℓ2\ell_2-norm，中文称作L1正则化和L2正则化，或者L1范数和L2范数。 L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。对于线性回归模型，使用L1正则化的模型建叫做...
【深度学习】正则化方法——L1和L2正则化
第三季度的博客
05-27 6169
凡是能解决模型泛化误差而不是训练误差的方法，都被称为正则化。模型的泛化误差主要是由模型过拟合引起的，所以正则化的各种方法用于解决模型过拟合的问题。
[机器学习]正则化项L1和L2的学习与理解
Harry的博客
06-08 1390
正则化项L1和L2的学习与理解正则化（Regularization）稀疏模型与特征选择的关系L1和L2正则化的直观理解正则化和特征选择的关系 正则化（Regularization） 机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作 ℓ1\ell_1ℓ1​-norm和 ell2ell_2ell2​-norm，中文称作 L1正则化 和 L2正则化，或者 L1范数 和 L2范数。 L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一
机器学习之L1正则化和L2正则化（附源码解析）
qq_38375203的博客
06-10 4318
今天还是机器学习的基础知识内容，也是最基础的哈。首先说一下什么是正则化，其实它就是一个减少方差的策略。那么什么是方差呢？在这里也引入一个和方差相辅相成的概念--偏差。我们通常所说的过拟合现象，也就是指的高方差，就是模型在训练集上训练的超级好，几乎全部都能拟合。 但是这种情况如果换一个数据集往往就会非常差， 正则化的思想就是在我们的目标函数中价格正则项， 即：在这里正则项有两种，分别是L1和L2，先来看一下两者的表达式： 如果加上这种正则项，就是希望我们的代价函数小，同时也希望我们这里的小，这样就说明每个样本
L1 惩罚和 L2 惩罚的区别
最新发布
sj666666666sjsj的博客
03-22 883
L1 惩罚，也称为 Lasso（最小绝对值收缩和选择算子），是一种正则化方法，用于防止模型过拟合L2 惩罚，也称为 Ridge 回归，是另一种正则化方法。它通过在损失函数中添加参数的平方和来实现。
机器学习中的各种损失函数（L1，L2，smoothL1，交叉熵 ）
白羊by的博客
08-28 2346
机器学习中的各种损失函数（L1，L2，smoothL1，交叉熵 ）
机器学习中L1 L2正则化项(范式，惩罚项)
ac540101928的专栏
01-28 1万+
1. 什么是L1 L2？ 正则化项，范式，惩罚项是不同学科范畴的学者的不同叫法，具体如下： 在机器学习称作正则化； 统计学领域称作惩罚项； 数学界会称作范数。 L1范数：L1范数就是曼哈顿距离，向量中每个元素绝对值的和 L2范数：L2就是欧式距离，向量元素绝对值的平方和再开平方 2. 在机器学习中L1 L2起到的作用是？ 有如下比较普遍的解释： L1正则化：可以产生稀疏权值...
为什么L1惩罚L2惩罚更容易得到稀疏解
weixin_43677260的博客
12-10 1195
在优化问题中，为什么L1惩罚L2惩罚更容易得到稀疏解L1_11​惩罚与L2_22​惩罚是什么下面从3个角度解释为什么L1惩罚L2惩罚更容易得到稀疏解最优化问题的角度梯度的角度 L1_11​惩罚与L2_22​惩罚是什么 L1_11​惩罚与L2_22​惩罚都是对模型进行惩罚，防止因模型参数过于复杂而导致过拟合。特别的，在线性模型中，加L1_11​惩罚的模型称为岭回归，加L2_22​惩罚的模型称为las...
为什么要引入正则化惩罚项？L1正则与L2正则的推导、作用以及区别
高志远的博客
08-22 4699
正则化惩罚项，L1L1L1和L2L2L2正则 Regularize penalty items L1L1L1 and L2L2L2 为什么要引入正则化惩罚项？ 在训练数据不够多时，或者过度训练模型（overtrainingovertrainingovertraining）时，常常会导致过拟合（overfittingoverfittingoverfitting）。正则化方法即为在此时向原始模型引入...
L1正则化和L2正则化
二胖_pro
05-06 602
正则化 正则化可理解为一种“罚函数法”，即对不希望得到的结果施加惩罚，从而使得优化过程趋向于希望目标 从贝叶斯估计的角度来看，正则化项可认为是提供了模型的先验概率 B站视频讲解链接 为什么加正则化项可以防止过拟合？ 从数学的角度来说，加正则化项就相当于加约束条件，加了约束条件使很多的参数分量wi=0w_i=0wi​=0（特征选择）从而降低模型复杂度，也就防止因为参数过多导致的过拟合现象 机...
深度学习 --- 优化入门六（正则化、参数范数惩罚L0、L1、L2、Dropout）
进击的菜鸟
12-04 1万+
      前面几节分别从不同的角度对梯度的优化进行梳理，本节将进行正则化的梳理，所谓正则化，简单来说就是惩罚函数，在机器学习中的SVM中引入拉格朗日乘子法即引入惩罚项解决了约束问题，在稀疏自编码器中我们引入了惩罚因子去自动调整隐层的神经元的个数，以此达到压缩率和失真度的平衡，其实这些都是使用正则思想进行实现的，因此掌握正则化很重要，本节就系统的讲解正则化和数据扩充以及Dropout其实有些知识在...
机器学习中L1正则化和L2正则化
11-21
主要有两种类型的正则化：L1正则化和L2正则化，它们有各自的特性和应用： 1. **L1正则化 (Lasso Regression)**： - 特点：L1正则化会将一些参数置零，因此被称为稀疏性惩罚。它的效果类似于特征选择，有助于模型...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值