L1正则化和L2正则化的直观解释

最新推荐文章于 2025-07-21 11:36:16 发布
转载 最新推荐文章于 2025-07-21 11:36:16 发布 · 947 阅读 · 6 ·
CC 4.0 BY-SA版权
原文链接：http://blog.youkuaiyun.com/zouxy09/article/details/24971995
文章标签：

#L1正则化 #L2正则化

正则化（Regularization）

机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作ℓ1ℓ1-norm，中文称作L1正则化和L2正则化，或者L1范数和L2范数。

L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。对于线性回归模型，使用L1正则化的模型建叫做Lasso回归，使用L2正则化的模型叫做Ridge回归（岭回归）。下图是Python中Lasso回归的损失函数，式中加号后面一项α||w||1α||w||1即为L1正则化项。

lasso regression

下图是Python中Ridge回归的损失函数，式中加号后面一项α||w||22α||w||22即为L2正则化项。

ridge regression

一般回归分析中回归ww表示特征的系数，从上式可以看到正则化项是对系数做了处理（限制）。L1正则化和L2正则化的说明如下：

  • L1正则化是指权值向量ww

一般都会在正则化项之前添加一个系数，Python中用αα表示。这个系数需要用户指定。

那添加L1和L2正则化有什么用？下面是L1正则化和L2正则化的作用，这些表述可以在很多文章中找到。

  • L1正则化可以产生稀疏权值矩阵，即产生一个稀疏模型，可以用于特征选择
  • L2正则化可以防止模型过拟合（overfitting）；一定程度上，L1也可以防止过拟合

稀疏模型与特征选择

上面提到L1正则化有助于生成一个稀疏权值矩阵，进而可以用于特征选择。为什么要生成一个稀疏矩阵？

稀疏矩阵指的是很多元素为0，只有少数元素是非零值的矩阵，即得到的线性回归模型的大部分系数都是0. 通常机器学习中特征数量很多，例如文本处理时，如果将一个词组（term）作为一个特征，那么特征数量会达到上万个（bigram）。在预测或分类时，那么多特征显然难以选择，但是如果代入这些特征得到的模型是一个稀疏模型，表示只有少数特征对这个模型有贡献，绝大部分特征是没有贡献的，或者贡献微小（因为它们前面的系数是0或者是很小的值，即使去掉对模型也没有什么影响），此时我们就可以只关注系数是非零值的特征。这就是稀疏模型与特征选择的关系。

L1和L2正则化的直观理解

这部分内容将解释为什么L1正则化可以产生稀疏模型（L1是怎么让系数等于零的），以及为什么L2正则化可以防止过拟合。

L1正则化和特征选择

假设有如下带L1正则化的损失函数：

J=J0+α∑w|w|(1)(1)J=J0+α∑w|w|
的二维平面上画出来。如下图：

@图1 L1正则化
图1 L1正则化

图中等值线是J0J0其它部位接触的机率，而在这些角上，会有很多权值等于0，这就是为什么L1正则化可以产生稀疏模型，进而可以用于特征选择。

而正则化前面的系数αα可以取到很小的值。

类似，假设有如下带L2正则化的损失函数：

J=J0+α∑ww2(2)(2)J=J0+α∑ww2

同样可以画出他们在二维平面上的图形，如下：

@图2 L2正则化
图2 L2正则化

二维平面下L2正则化的函数图形是个圆，与方形相比，被磨去了棱角。因此J0J0等于零的机率小了许多，这就是为什么L2正则化不具有稀疏性的原因。

L2正则化和过拟合

拟合过程中通常都倾向于让权值尽可能小，最后构造一个所有参数都比较小的模型。因为一般认为参数值小的模型比较简单，能适应不同的数据集，也在一定程度上避免了过拟合现象。可以设想一下对于一个线性回归方程，若参数很大，那么只要数据偏移一点点，就会对结果造成很大的影响；但如果参数足够小，数据偏移得多一点也不会对结果造成什么影响，专业一点的说法是『抗扰动能力强』。

那为什么L2正则化可以获得值很小的参数？

以线性回归中的梯度下降法为例。假设要求的参数为θθ是不断减小的。

最开始也提到L1正则化一定程度上也可以防止过拟合。之前做了解释，当L1的正则化系数很小时，得到的最优解会很小，可以达到和L2正则化类似的效果。

正则化参数的选择

L1正则化参数

通常越大的λλ可以让代价函数在参数为0时取到最小值。下面是一个简单的例子，这个例子来自Quora上的问答。为了方便叙述，一些符号跟这篇帖子的符号保持一致。

假设有如下带L1正则化项的代价函数：

F(x)=f(x)+λ||x||1F(x)=f(x)+λ||x||1
时取到最小值。如下图：

@图3 L1正则化参数的选择
图3 L1正则化参数的选择

分别取λ=0.5λ=0.5时取到最小值。

L2正则化参数

从公式5可以看到，λλ越大，L2圆的半径越小，最后求得代价函数最值时各参数也会变得很小。

Reference

过拟合的解释：
https://hit-scir.gitbooks.io/neural-networks-and-deep-learning-zh_cn/content/chap3/c3s5ss2.html

正则化的解释：
https://hit-scir.gitbooks.io/neural-networks-and-deep-learning-zh_cn/content/chap3/c3s5ss1.html

正则化的解释：
http://blog.youkuaiyun.com/u012162613/article/details/44261657

正则化的数学解释（一些图来源于这里）：
http://blog.youkuaiyun.com/zouxy09/article/details/24971995

机器学习中L1和L2正则化自然解释
peter_mama的博客
02-08 5338
目前一些博客或知乎上解释L1,L2正则化的，要么理论太多，搞一堆分布，可能性函数推来推去的，要么过于通俗，就好像说论语一样，让读者被动接收，就比如会告诉你L1,L2的famous picture说明了什么，但是却不会告诉你famous picture里面的椭圆为什么是椭圆，如果你不知道是椭圆，又怎能很好通过famous picture来理解L1比L2正则化的到解更具有稀疏性呢。所以说如何在通俗易懂和数学证明保持一个好的平衡，关键在于怎么把L1,L2自然而然的引入，下文就为此而写。
【深度学习】正则化方法——L1和L2正则化
第三季度的博客
05-27 6175
凡是能解决模型泛化误差而不是训练误差的方法，都被称为正则化。模型的泛化误差主要是由模型过拟合引起的，所以正则化的各种方法用于解决模型过拟合的问题。
L1、L2正则化详解
weixin_30900589的博客
12-15 386
正则化是一种回归的形式，它将系数估计（coefficient estimate）朝零的方向进行约束、调整或缩小。也就是说，正则化可以在学习过程中降低模型复杂度和不稳定程度，从而避免过拟合的危险。 一、数学基础 1. 范数 范数是衡量某个向量空间（或矩阵）中的每个向量以长度或大小。范数的一般化定义：对实数p>=1， 范数定义如下： ...
正则化L1、L2的理解
balei8887的博客
03-23 701
本篇文章是对18年11月19日，自己写的L1、L2范数文章的进一步总结，之前在学习正则化，了解到了L1和L2正则化，这里记录一下。 目录： 1. 什么是正则化 2. 如何理解正则化 3. 正则化的作用 第一个问题，什么是正则化？ 正则化就是在损失函数后加上一个正则化项（惩罚项），其实就是常说的结构风险最小化策略，即经验风险（损失函数）加上正则化。一般模型越复杂，正则化值越...
【机器学习与深度学习理论要点】11.什么是L1、L2正则化？
yegeli的博客
08-08 286
机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作 L1-norm 和L2-norm，中文称作 L1正则化 和 L2正则化，或者 L1范数 和 L2范数。L1正则化和L2正则化可以看做是损失函数的惩罚项，所谓"惩罚"是指对损失函数中的某些参数做一些限制。范数的表达式为： ∣∣x∣∣p=(∑∣xi∣p)1p ||x||_p=(\sum|x_i|^p)^{\frac{1}{p}} ∣∣x∣∣p​=(∑∣xi​∣p)p1​ 当p=1时，是L1范数，其表示某个向量中所有元素绝
L1正则化 VS L2正则化
m0_59777389的博客
07-12 899
正则化是机器学习中防止过拟合的重要技术，通过在损失函数中添加惩罚项来限制模型参数的增长。L1正则化（绝对值之和）会产生稀疏参数，适用于特征选择；L2正则化（平方和）会使参数均匀缩小，提高模型稳定性。这两种方法分别对应拉普拉斯分布和高斯分布的先验假设。正则化不仅适用于回归任务（如Lasso和Ridge回归），也可用于分类任务和神经网络（如Dropout）。其核心思想符合奥卡姆剃刀准则——选择最简单的有效模型。实际应用中需根据数据特点和问题需求选择正则化类型，并通过交叉验证调整正则化系数λ，以平衡模型复杂度和泛
机器学习中正则化项L1和L2的直观理解
热门推荐
小平子的专栏
03-02 43万+
正则化（Regularization） 机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作ℓ1ℓ1\ell_1-norm和ℓ2ℓ2\ell_2-norm，中文称作L1正则化和L2正则化，或者L1范数和L2范数。 L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。对于线性回归模型，使用L1正则化的模型建叫做...
L1正则化和L2正则化讲解
Joker的博客
10-16 1万+
L1正则化和L2正则化讲解   在机器学习实践过程中，训练模型的时候往往会出现过拟合现象，为了减小或者避免在训练中出现过拟合现象，通常在原始的损失函数之后附加上正则项，通常使用的正则项有两种：L1正则化和L2正则化。   L1正则化和L2正则化都可以看做是损失函数的惩罚项，所谓惩罚项是指对损失函数中的一些参数进行限制，让参数在某一范围内进行取值。L1正则化的模型叫做LASSO回归，L2正则化的模型叫做岭回归。 LASSO回归公式 min12mΣi=1m(f(x)−y(i))2+λ∣∣w∣∣1min\fr
L1正则化、L2正则化的多角度分析和概率角度的解释
AiBigData的博客
11-26 1794
L1正则化、L2正则化的公式如下 min⁡wL1(w)=min⁡wf(w)+λn∑i=1n∣wi∣min⁡wL2(w)=min⁡wf(w)+λ2n∑i=1nwi2 \min_wL_1(w)=\min_w f(w)+\frac{\lambda}{n}\sum_{i=1}^n|w_i|\\ \min_wL_2(w)=\min_wf(w)+\frac{\lambda}{2n}\sum_{i=1}^nw_i^2 wmin​L1​(w)=wmin​f(w)+nλ​i=1∑n​∣wi​∣wmin​L2​(w)=wmin
l1_ls_matlab_L1正则化问题_正则化_
09-29
与L2正则化（参数的平方和）不同，L1正则化有使某些参数趋于零的倾向，从而实现特征选择或稀疏解。这种特性在高维数据中尤其有用，因为它可以帮助我们找出哪些特征对预测结果最重要。 在MATLAB中实现L1正则化的线性...
正则化（L1正则化、L2参数正则化）
qq_51715775的博客
05-14 2357
正则化（L1正则化、L2参数正则化）L1范数正则化L2参数正则化 正则化是机器学习中通过显式的控制模型复杂度来避免模型过拟合、确保泛化能力的一种有效方式。 L1范数正则化 L1范数正则化（ L1 regularization 或 lasso ）是机器学习（machine learning）中重要的手段，在支持向量机（support vector machine）学习过程中，实际是一种对于成本函数(cost function)求解最优的过程，因此，L1范数正则化通过向成本函数中添加L1范数，使得学习得到的结
【深度学习】正则化：L1正则化、L2正则化、Batch Normal与Dropout
阳一子的博客
11-14 5972
目录 正则化 0 正则化介绍 0.0 什么是正则化？ 0.1 正则化解决什么问题？ 0.2 正则化常用手段 L1、L2正则化 1.0 范数定义 正则化 0 正则化介绍 0.0 什么是正则化？ 《Deep Learning》书中定义正则化为“对学习算法的修改——旨在减少泛化误差而不是训练误差” ​ 模型可以看成是一个高维函数，对于不同的模型参数，能得到千千万万个不同的模型，我们将这所有的可能得到的模型称之为假设空间。我们只需要通过训练将生成真实数据的一组模型参数找出来即可。从已有的假设空
L1正则化算法系列：理论与应用
最新发布
weixin_31869917的博客
07-21 649
正则化通过在损失函数中增加一个与模型复杂度相关的项来约束模型。对于一个线性模型，假设损失函数为均方误差（MSE），则L1正则化的目标函数可以表示为：其中，(λ) 是正则化强度的参数，(|θ|_1) 表示模型参数的L1范数。稀疏表达可以被理解为一个高维空间中的低维结构，其中大多数的值都是零或接近零。数学上，我们可以将一个稀疏向量表示为只有一个或极少数非零元素的向量。这样的表示对于数据压缩和信息的有效传输具有很高的价值。
正则化和L1/L2范式
AI大模型/Python/Java/MySQL技术栈，快来和我一起学习吧 ~
05-08 1533
假设你正在设计一个房价预测模型，手头有100个特征（如面积、楼层、周边设施等），但其中部分特征可能是噪声或冗余（如“距离某个路灯的距离”）。在生物医学研究中，基因表达数据通常包含数万个基因（特征）的表达值，但样本量（如患者数量）往往仅有几十到几百个。在房价预测中，特征如“房间数”和“建筑面积”可能存在高度相关性（共线性），导致线性回归系数不稳定，甚至符号异常（如房间数增加但房价下降）。L2范式像“雨露均沾”的压缩策略——对所有权重施加与数值大小相关的惩罚，权重越大被压缩得越狠，但永远不会完全归零。
L1、L2正则化的原理及适用场景
xiao_ling_yun的博客
01-29 6492
L1和L2正则化的适用范围；L1为何比L2更容易获得稀疏解
L1正则化和L2正则化的详细直观解释
Miracle.Zhao的博客
08-09 3万+
正则化（Regularization） 转自：此处 机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作ℓ1ℓ1-norm和ℓ2ℓ2-norm，中文称作L1正则化和L2正则化，或者L1范数和L2范数。 L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。对于线性回归模型，使用L1正则化的模型建叫做Lasso...
L1正则化和L2正则化的区别
Vodka_Lou的博客
04-24 1万+
文章目录前言一、L1和L2正则化是什么？二、区别三、其他问题 前言 在防止过拟合的方法中有L1正则化和L2正则化，那么这两者有什么区别呢？ 一、L1和L2正则化是什么？ L1和L2是正则化项，又叫做惩罚项，是为了限制模型的参数，防止模型过拟合而加在损失函数后面的一项。 二、区别 L1是模型各个参数的绝对值之和。 L2是模型各个参数的平方和的开方值。 L1会趋向于产生少量的特征，而其他的特征都是0。 因为最优的参数值很大概率出现在坐标轴上，这样就会导致某一维的权重为0 ，产生稀疏权重矩阵 L2会选..
L1正则化和L2正则化
qq_52302919的博客
04-01 2万+
在机器学习以及深度学习中我们经常会看到正则化这一名词，下面就浅谈一下什么是正则化？以及正则化的意义所在？ 一、什么是正则化？ 正则化项 (又称惩罚项)，惩罚的是模型的参数，其值恒为非负 λ是正则化系数，是一个超参数，调节惩罚的力度，越大则惩罚力度越大。 二、正则化的目的？ 先上图： 上图从左到右依次为：欠拟合、理想状态、过拟合 欠拟合从字面意思来看就是欠缺拟合程度，这一般在复杂度很低的模型中出现。从数学上来看，一元一次函数为一条直线、一元二次函数为一个曲线，以此类推。那么参数越多，其越能拟合更复杂的特征
L1正则化与L2正则化详解
NLP翟
03-28 6169
L1、L2正则化什么是正则化？L1、L2正则化公式正则化的作用为什么加入L1正则化的模型会更稀疏1.梯度视角2.解空间形状视角3.函数叠加视角4.贝叶斯先验视角 什么是正则化？ 正则化在DL、ML中的含义为，为模型取得较好的泛化性，在目标函数中添加的相应惩罚项。 通俗的来讲： 正则化的加入就是为了提高模型的表征能力与适应能力，使其不至于对训练数据集产生过拟合现象。 L1、L2正则化公式 L1正则化...
区分L1正则化和L2正则化
06-18
### L1正则化与L2正则化的区别及应用场景 #### 一、数学定义与作用机制 L1正则化和L2正则化都是通过在损失函数中添加惩罚项来防止模型过拟合的技术。L1正则化使用权值参数的绝对值作为惩罚项[^1]，而L2正则化使用权值参数的平方作为惩罚项[^1]。这种差异导致了两种正则化方法在优化过程中对权值更新的不同影响。 - **下降速度**：L1正则化在接近零时具有更快的下降速度，这使得它更容易将某些权值直接缩减为零。相比之下，L2正则化的下降速度较慢，即使权值接近零，也不会将其完全置零。 #### 二、稀疏性与权重分布 L1正则化倾向于生成稀疏的权重向量，即许多权值会被精确地缩减为零[^2]。这种特性使其非常适合于特征选择任务，因为可以自动剔除无关或冗余的特征[^4]。而L2正则化则倾向于生成分散的权重向量，其中所有权值都不为零但数值较小[^2]。因此，L2正则化更适合处理共线性问题，因为它能够平等地分配权值给相关特征[^4]。 #### 三、几何解释 从几何空间的角度来看，L1正则化约束区域是一个菱形，其顶点位于坐标轴上，这意味着最优解更可能出现在这些顶点处，从而导致稀疏性。相反，L2正则化约束区域是一个圆形，没有明显的“角”或“顶点”，因此最优解不太可能落在坐标轴上，导致权重分布更加均匀。 #### 四、应用场景 - **L1正则化**：适用于需要进行特征选择的场景，尤其是当数据集中存在大量无关特征时。例如，在文本分类任务中，词汇表可能非常庞大，L1正则化可以帮助识别出最重要的关键词。 - **L2正则化**：适用于处理共线性问题或当特征之间存在较强相关性时[^4]。例如，在图像识别任务中，像素值之间可能存在高度相关性，L2正则化有助于稳定模型训练并减少过拟合。 ```python # PyTorch实现L2正则化（Weight Decay） import torch import torch.nn as nn import torch.optim as optim model = nn.Linear(10, 1) criterion = nn.MSELoss() optimizer = optim.SGD(model.parameters(), lr=0.01, weight_decay=0.01) # L1正则化可以通过手动添加L1惩罚项实现 def l1_regularization(model, lambda_l1): l1_norm = sum(p.abs().sum() for p in model.parameters()) return lambda_l1 * l1_norm # 在训练过程中加入L1正则化 lambda_l1 = 0.01 loss = criterion(output, target) + l1_regularization(model, lambda_l1) ``` #### 五、总结 L1正则化通过产生稀疏的权重向量来实现特征选择，而L2正则化通过平滑权重分布来处理共线性问题。两者各有优劣，具体选择取决于任务需求和数据特性。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值