机器学习中的L1和L2正则化项

最新推荐文章于 2025-09-11 17:07:53 发布
原创 最新推荐文章于 2025-09-11 17:07:53 发布 · 8.1k 阅读 · 46 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #正则化 #L1 #L2

本文介绍了机器学习中的过拟合和正则化概念，重点探讨了L1和L2正则化。L1正则化通过L1范数产生稀疏模型，适用于特征选择；L2正则化通过L2范数防止过拟合，确保模型稳定性。两种正则化方式在损失函数中加入正则项，调整系数大小，以达到平衡模型复杂度和泛化能力的目的。

关注微信公众号【Microstrong】,我写过四年Android代码，了解前端、熟悉后台，现在研究方向是机器学习、深度学习！一起来学习，一起来进步，一起来交流吧！


本文同步更新在我的微信公众号里，地址：https://mp.weixin.qq.com/s?__biz=MzI5NDMzMjY1MA==&mid=2247483962&idx=1&sn=ce7e07e056cb100e779d66394f9e8494&chksm=ec6533bfdb12baa9d7e0d315bb7e0ae9087f8725ac168ecdeec2121b60d8d60087d0d1b9ff46&scene=0#rd

要点：

(1)    什么是过拟合？什么是正则化项？

(2)    L1正则化

(3)    L2正则化

(4)    L1和L2正则化的直观理解

（一）什么是过拟合？什么是正则化项？

过拟合：当学习器把训练样本学得“太好”了的时候，很可能已经把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质，这样就会导致泛化性能下降，这种现象在机器学习中称为“过拟合”。训练机器学习模型的要

最低0.47元/天 解锁文章
机器学习中正则化项L1和L2的直观理解
小平子的专栏
03-02 43万+
正则化（Regularization） 机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作ℓ1ℓ1\ell_1-norm和ℓ2ℓ2\ell_2-norm，中文称作L1正则化和L2正则化，或者L1范数和L2范数。 L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。对于线性回归模型，使用L1正则化的模型建叫做...
机器学习：L1和L2正则化项的理解
龙雪的博客
07-10 1097
正则化（Regularization） 机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作 ℓ1\ell_1ℓ 1 ​ -norm 和 ℓ2\ell_2ℓ 2 ​ -norm，中文称作 L1正则化 和 L2正则化，或者 L1范数 和 L2范数。 L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。对于线性回归模型，使用L1正则化的模型建叫做Lasso回归，使用L2正则化的模型叫做Ridge回归（...
简单讲解机器学习中的L1和L2
qq_20936501的博客
07-14 934
机器学习中正则化项L1和L2的直观理解 https://blog.youkuaiyun.com/jinping_shi/article/details/52433975 https://zhidao.baidu.com/question/1899847621650995460.html 比较全面的L1和L2正则化的解释 https://baijiahao.baidu.com/s?id=16210541...
正则化理解
xia_mi123的专栏
04-24 4826
1、概念 L0正则化的值是模型参数中非零参数的个数。 L1正则化表示各个参数绝对值之和。 L2正则化标识各个参数的平方的和的开方值。 2、先讨论几个问题： 1）实现参数的稀疏有什么好处吗？ 一个好处是可以简化模型，避免过拟合。因为一个模型中真正重要的参数可能并不多，如果考虑所有的参数起作用，那么可以对训练数据可以预测的很好，但是对测试数据表现性能极差。另一个好处是参数变少可以使整个模型
一文详解：L1 正则化和L2 正则化
最新发布
weixin_41413777的博客
09-11 3439
在深度学习和机器学习中，正则化（Regularization） 是一类用于防止模型过拟合（Overfitting）的技术。其中，L1 正则化和L2 正则化是最基础且应用广泛的两种方法，它们通过在损失函数中添加 “惩罚项” 来约束模型参数，使模型更简单、泛化能力更强。
正则化项java_Machine Learning基础：正则化项（Regularization）
weixin_32259697的博客
02-25 610
1 正则化(Regularization)奥卡姆剃刀定律。image机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作l1-norm和l2-norm，中文称作L1正则化和L2正则化，或者L1范数和L2范数。L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。对于线性回归模型，使用L1正则化的模型建叫做Lasso...
L1、L2正则regularization和weight decay
zhaijianfengrui的专栏
11-21 1545
对于线性回归模型，使用L1正则化的模型建叫做Lasso回归，使用L2正则化的模型叫做Ridge回归（岭回归）。L1正则化，又叫Lasso Regression如下图所示，L1是向量各元素的绝对值之和L2正则化，又叫Ridge Regression如下图所示，L2是向量各元素的平方和表示特征的系数，从上式可以看到正则化项是对系数做了处理（限制）。也被称为相同点：都用于避免过拟合不同点：L1可以让一部分特征的系数缩小到0，从而间接实现特征选择。所以L1适用于特征之间有关联的情况。
【机器学习】L1与L2正则化原理及其适用场景
weixin_46564151的博客
03-05 1254
L1与L2正则化原理及其适用场景
机器学习-L1、L2正则化详解
qq_44936246的博客
04-25 2116
模型产生过拟合的现象表现为：在训练集上误差较小，而在测试集上误差较大。 并且之所以产生过拟合现象是由于训练数据中存在一定的噪音，而我们为了尽可能的做到拟合每一个样本点（包括噪音），往往就会使用复杂的模型。最终使得训练出来的模型很大程度上受到了噪音数据的影响，例如真实的样本数据可能更符合一条直线，但是由于个别噪音的影响使得训练出来的是一条弯曲的曲线，从而使得模型在测试集上表现糟糕。因此，我们可以将这一过程看作是糟糕的训练集导致了糟糕的泛化误差。但仅仅从过拟合的表现形式来看糟糕的测试集（噪音多）也能导致糟糕的.
【一看就懂】机器学习之L1和L2正则化1
08-03
总之，正则化是机器学习中不可或缺的一部分，L1和L2正则化是两种有效的正则化策略，它们通过对模型复杂度的控制，帮助我们构建出既能准确预测新数据，又不会过度依赖训练数据的模型。在实际应用中，理解并灵活运用...
L1正则化和L2正则化
热门推荐
qq_52302919的博客
04-01 2万+
在机器学习以及深度学习中我们经常会看到正则化这一名词，下面就浅谈一下什么是正则化？以及正则化的意义所在？ 一、什么是正则化？ 正则化项 (又称惩罚项)，惩罚的是模型的参数，其值恒为非负 λ是正则化系数，是一个超参数，调节惩罚的力度，越大则惩罚力度越大。 二、正则化的目的？ 先上图： 上图从左到右依次为：欠拟合、理想状态、过拟合 欠拟合从字面意思来看就是欠缺拟合程度，这一般在复杂度很低的模型中出现。从数学上来看，一元一次函数为一条直线、一元二次函数为一个曲线，以此类推。那么参数越多，其越能拟合更复杂的特征
一文了解L1正则化与L2正则化
qq_37803694的博客
05-20 9042
其中，L(w)是加了L2正则化的损失函数，Loss(y, y_pred)是模型的原始损失函数（例如，均方误差或交叉熵），w是模型的权重向量，||w||^2是权重向量的L2范数的平方，λ是正则化参数，用于控制正则化的强度。其中，L(w)是加了L1正则化的损失函数，Loss(y, y_pred)是模型的原始损失函数（例如，均方误差或交叉熵），w是模型的权重向量，||w||1是权重向量的L1范数，λ是正则化参数，用于控制正则化的强度。正则化参数λ越大，正则化项在损失函数中的比重就越大，对权重的惩罚也就越大。
L2范数-欧几里得范数
起一个大家都能记得的名字 博客
11-05 1万+
L1范数 L1范数是指向量中各个元素绝对值之和 L2范数 L2范数、欧几里得范数一些概念。 首先，明确一点，常用到的几个概念，含义相同。 欧几里得范数（Euclidean norm） ==欧式长度 =L2 范数 ==L2距离 Euclidean norm == Euclidean length == L2 norm == L2 distance ==I^2norm 对于一个...
范数（norm） ：L-P，L0，L1，L2范数的简单介绍
weixin_58045467的博客
06-07 9324
我们知道距离的定义是一个宽泛的概念，只要满足非负、自反、三角不等式就可以称之为距离。范数是一种强化了的距离概念，它在定义上比距离多了一条数乘的运算法则。有时候为了便于理解，我们可以把范数当作距离来理解。在数学上，范数包括向量范数和矩阵范数，向量范数表征向量空间中向量的大小，矩阵范数表征矩阵引起变化的大小。一种非严密的解释就是，对应向量范数，向量空间中的向量都是有大小的，这个大小如何度量，就是用范数来度量的，不同的范数都可以来度量这个大小，就好比米和尺都可以来度量远近一样；
【机器学习】L1、L2正则化
研究兴趣：开放集识别、开放世界识别、新类发现、增量学习、少样本学习
05-18 4797
L1正则化能够通过使模型稀疏化达到降低模型复杂度的作用。这种稀疏化特性使它能够作为一种特征选择策略，适合在高维且特征相关性不强的场景中使用。 L2正则化能够通过将各项权重系数优化的很小达到降低模型复杂度的目的。它能够减少单个特征的在模型中的作用，避免某个特征主导整个预测方向。L2正则化项是可微的，优化计算效率更高，适合处理低维且特征间具有强相关性的场景。
0范数、1范数、2范数
dumao0620的专栏
12-05 5287
列举常用的向量范数和矩阵范数的定义
L1&L2，范数&损失
double_yellow的博客
05-23 4804
这里是有很大的区别的哦。而越小的参数说明模型越简单，越简单的模型则越不容易产生过拟合现象。为什么越小的参数说明模型越简单？一种理解是：“限制了参数很小，实际上就限制了多项式某些分量大小，使分量的影响很小，这样就相当于减少参数个数”。在回归里面，有人把有它的回归叫“岭回归”（Ridge Regression），有人也叫它“权值衰减weight decay”。L2范数强大功效是改善机器学习里面一个非常重要的问题：过拟合。它是把目标值y与估计值f(x)的差值的平方和最小化。，都接近于0，但与L1范数不同，
L1正则化（L1 Regularization）和L2正则化（L2 Regularization）的详细解释以及区别，同时详细解释了正则化在损失函数中的功能，解释了正则化为什么可以防止过拟合，提高泛化
qlkaicx的博客
12-06 5901
正则化是一种重要的技术手段，可以帮助我们提高模型的泛化能力，减少过拟合现象。L1正则化和L2正则化是两种常用的正则化方法，它们各有特点，适用于不同类型的问题。
机器学习中L1正则化和L2正则化
11-21
在机器学习中，正则化是一种常用的防止过拟合的技术，它通过对模型参数施加约束来限制模型的复杂度。主要有两种类型的正则化：L1正则化和L2正则化，它们有各自的特性和应用： 1. **L1正则化 (Lasso Regression)**： - 特点：L1正则化会将一些参数置零，因此被称为稀疏性惩罚。它的效果类似于特征选择，有助于模型解释和变量的重要性排序。 - 影响：它鼓励模型具有较少的非零权重，有助于减少模型的复杂度，适用于对模型复杂度敏感的情况。 - 应用：常用于回归分析和特征选择，特别是在需要做特征筛选的情况下。 2. **L2正则化 (Ridge Regression)**： - 特点：L2正则化不会让参数完全为零，而是给每个参数加上一个平方项的惩罚，相当于添加了一个权重衰减项。所有参数都得到平滑处理。 - 影响：它使得模型更加平滑，避免极端值的影响，有助于改善训练集外的数据预测性能。 - 应用：广泛应用于各种机器学习模型，包括线性回归、神经网络等，尤其在数据噪声较大时有用。 总的来说，L1正则化更倾向于模型简化和特征选择，而L2正则化则倾向于模型稳健和平滑。在实践中，通常会结合两者（L1+L2正则化），即 Elastic Net，以取两者的优点。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值