L1和L2正则化（岭回归和LASSO）

最新推荐文章于 2025-05-08 13:54:34 发布
最新推荐文章于 2025-05-08 13:54:34 发布
阅读量4.8k 收藏 20
点赞数 11
CC 4.0 BY-SA版权
分类专栏： 机器学习 文章标签： 岭回归 LASSO L1正则化 L2正则化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43216017/article/details/88046435
本文介绍了L1正则化（LASSO）和L2正则化（岭回归）在回归问题中的应用，讨论了两者在求解效率、解的稀疏性以及在特征选择上的区别，并通过图例解释了L1正则化的稀疏性特性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

       在上一篇文章中我们写到了L1损失函数和L2损失函数，本文将讲述L1正则化和L2正则化。损失函数和正则化是作用不同的两个部分，我们将在文中对其进行辨析。

文章目录

L1和L2正则化

       假设我们考虑一个回归问题，数据集 D = { ( x 1 ⃗ , y 1 ) , ( x 2 ⃗ , y 2 ) , ⋯   , ( x n ⃗ , y n ) } D = \left\lbrace (\vec{x_1},y_1),(\vec{x_2},y_2),\cdots,(\vec{x_n},y_n) \right\rbrace D={ (x1​ ​,y1​),(x2​ ​,y2​),⋯,(xn​ ​,yn​)}，此处我们选择L2损失函数，则模型优化的目标为： min ⁡ w ⃗ ∑ i = 1 n ( y i − w ⃗ T x i ) 2 \min_{\vec{w}} \sum_{i=1}^{n}(y_i-\vec{w}^Tx_i)^2 w min​i=1∑n​(yi​−

最低0.47元/天 解锁文章

200万优质内容无限畅学
正则化的作用以及L1和L2正则化的区别
Lavi的专栏
08-21 3万+
0 正则化的作用 正则化的主要作用是防止过拟合，对模型添加正则化项可以限制模型的复杂度，使得模型在复杂度和性能达到平衡。 常用的正则化方法有L1正则化和L2正则化。L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。 L1正则化的模型建叫做Lasso回归，使用L2正则化的模型叫做Ridge回归（岭回归。但是使用正则化来防止过拟合的原理是什么？L1和L...
范数正则化L0、L1、L2-岭回归&Lasso回归
陈宸的博客
05-07 1426
目录 一、L0/L1范数 1、分别定义 2、两者关系： 3、参数稀疏的好处 1）特征选择(Feature Selection)： 2）可解释性(Interpretability)： 四、L1（Lasso）、L2（岭回归）范数 五、Lasso算法和岭回归算法区别 1、梯度下降速度 2、模型空间的限制 延伸一：L1&L2正则化一起结合的Elastic Nets效果真的很好...
正则化和L1/L2范式
最新发布
AI大模型/Python/Java/MySQL技术栈，快来和我一起学习吧 ~
05-08 1268
假设你正在设计一个房价预测模型，手头有100个特征（如面积、楼层、周边设施等），但其中部分特征可能是噪声或冗余（如“距离某个路灯的距离”）。在生物医学研究中，基因表达数据通常包含数万个基因（特征）的表达值，但样本量（如患者数量）往往仅有几十到几百个。在房价预测中，特征如“房间数”和“建筑面积”可能存在高度相关性（共线性），导致线性回归系数不稳定，甚至符号异常（如房间数增加但房价下降）。L2范式像“雨露均沾”的压缩策略——对所有权重施加与数值大小相关的惩罚，权重越大被压缩得越狠，但永远不会完全归零。
LASSO回归与L1正则化 西瓜书
BITDDD小栈
04-23 1万+
1.结构风险与经验风险在支持向量机部分，我们接触到松弛变量，正则化因子以及最优化函数，在朴素贝叶斯分类，决策树我们也遇到类似的函数优化问题。其实这就是结构风险和经验风险两种模型选择策略，经验风险负责最小化误差，使得模型尽可能的拟合数据，而结构风险则负责规则化参数，使得参数的形式尽量简洁，从而达到防止过拟合的作用.所以针对常见模型，我们都有下式：.........
python_Lasso _线性模型_L1正则化
wj1298250240的博客
01-01 1197
python_Lasso _线性模型_L1 正则化 Lasso。与岭回归相同，使用 lasso 也是约束系 # 数使其接近于 0，但用到的方法不同，叫作 L1 正则化。 L1 正则化的结果是，使用 lasso 时 某些系数刚好为 0 这样模型更容易解释，也可以呈现模型最重要的特征 # 4. lasso # 除了 Ridge，还有一种正则化的线性回归是 Lasso。与岭回归相同，使用 lasso 也...
深入理解【正则化的L1-lasso回归和L2-岭回归】以及相关代码复现
Elvis__c的博客
03-30 1215
为了防止过拟合，通常在线性的模型的基础上引入一个正则化项。$L_1$和$L_2$正则化中，正则项是模型参数的$L_1$范数和$L_2$范数。在训练集上表现很好，在测试集上表现不好【模型过于复杂】，ε服从均值为0，标准差为0.01的正态分布。特征维度为200，将训练数据集的样本设低20。网格搜索可以在参数空间中搜索最优参数。1- 过拟合 欠拟合 模型选择。1- 过拟合 欠拟合 模型选择。3- L2正则代码复现。学习到的数据特征过少。3- L2正则代码复现。2- 正则L1与L2。2- 正则L1与L2。
通俗易懂--岭回归(L2)、lasso回归(L1)、ElasticNet讲解(算法+案例)
weixin_34015566的博客
01-08 1569
1.L2正则化(岭回归) 1.1问题 想要理解什么是正则化，首先我们先来了解上图的方程式。当训练的特征和数据很少时，往往会造成欠拟合的情况，对应的是左边的坐标；而我们想要达到的目的往往是中间的坐标，适当的特征和数据用来训练；但往往现实生活中影响结果的因素是很多的，也就是说会有很多个特征值，所以训练模型的时候往往会造成过拟合的情况，如右边的坐标所示。 1.2公式 以图中的公式为例，往往我们得到的模...
机器学习03——线性回归过拟合正则化 L1L2正则 岭回归 Lasso回归 弹性网络
逗创科技——逗创创的博客
04-02 1565
最小二乘回归中，目标函数只考虑了模型对训练样本的拟合程度： 原则上任意复杂的模型能完全拟合训练数据。我们称之为过拟合。 • 过拟合（ overfitting ）：过于复杂的模型与训练数据拟合得太好，但和测试数据拟合得不好。 • 欠拟合（underfitting）：过于简单的模型与训练数据拟合得欠佳（和测试数据自然也拟合得不好） 注意：线性回归中采用线性模型。而线性模型是很简单的模型，所以当特征维数...
机器学习中正则化项L1和L2的直观理解
热门推荐
小平子的专栏
03-02 43万+
正则化（Regularization） 机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作ℓ1ℓ1\ell_1-norm和ℓ2ℓ2\ell_2-norm，中文称作L1正则化和L2正则化，或者L1范数和L2范数。 L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。对于线性回归模型，使用L1正则化的模型建叫做...
L1正则化和L2正则化讲解
Joker的博客
10-16 1万+
L1正则化和L2正则化讲解   在机器学习实践过程中，训练模型的时候往往会出现过拟合现象，为了减小或者避免在训练中出现过拟合现象，通常在原始的损失函数之后附加上正则项，通常使用的正则项有两种：L1正则化和L2正则化。   L1正则化和L2正则化都可以看做是损失函数的惩罚项，所谓惩罚项是指对损失函数中的一些参数进行限制，让参数在某一范围内进行取值。L1正则化的模型叫做LASSO回归，L2正则化的模型叫做岭回归。 LASSO回归公式 min12mΣi=1m(f(x)−y(i))2+λ∣∣w∣∣1min\fr
机器学习防止过拟合之L1范数（正则）与LASSO
乔阳的博客
11-03 1万+
机器学习过拟合问题对于机器学习问题，我们最常遇到的一个问题便是过拟合。在对已知的数据集合进行学习的时候，我们选择适应度最好的模型最为最终的结果。虽然我们选择的模型能够很好的解释训练数据集合，但却不一定能够很好的解释测试数据或者其他数据，也就是说这个模型过于精细的刻画了训练数据，对于测试数据或者其他新的数据泛化能力不强。 以一个简单的多项式拟合为例： 图一只捕捉了数据的简单特征，处于欠拟合状态
L1、L2正则化
youhuakongzhi的博客
06-09 2173
一、L1正则化 1、L1正则化 　　需注意，L1 正则化除了和L2正则化一样可以约束数量级外，L1正则化还能起到使参数更加稀疏的作用，稀疏化的结果使优化后的参数一部分为0，另一部分为非零实值。非零实值的那部分参数可起到选择重要参数或特征维度的作用，同时可起到去除噪声的效果。此外，L1正则化和L2正则化可以联合使用： 　　这种形式也被称为“Elastic网络正则化”。 L1相比...
线性回归中的L1与L2正则化
deephub
02-26 7672
在这篇文章中，我将介绍一个与回归相关的常见技术面试问题，我自己也经常会提到这个问题: 描述回归建模中的L1和L2正则化方法。 在处理复杂数据时，我们往往会创建复杂的模型。太复杂并不总是好的。过于复杂的模型就是我们所说的“过拟合”，它们在训练数据上表现很好，但在看不见的测试数据上却表现不佳。 有一种方法可以对损失函数的过拟合进行调整，那就是惩罚。通过惩罚或“正则化”损失函数中的大系数，我们使一些(或所有)系数变小，从而使模型对数据中的噪声不敏感。 在回归中使用的两种流行的正则化形式是L1又名Lasso回归，和
【机器学习】P21 正则化 Regularization（L1正则化 Lasso、L2正则化 Ridge、弹性网络正则化、Dropout正则化、早停法）
weixin_43098506的博客
04-20 1719
正则化 Regularization（L1正则化 Lasso、L2正则化 Ridge、弹性网络正则化、Dropout正则化、早停法）
lasso回归和岭回归（ridge regression）( L1,L2 正则化regularization)
hxxjxw的博客
08-24 1184
1 lasso回归是线性回归
L1正则化和L2正则化
promisejia
03-15 2279
文章目录1. L1正则化和L2正则化：2. L1正则化和L2正则化的作用:3. 一些问题理解L1正则化的稀疏作用如何理解？L2正则化为什么不会稀疏？L2正则化为何可以防止过拟合？L1正则化在哪种情况下可以防止过拟合？ 1. L1正则化和L2正则化： L1正则化,又称Lasso Regression，是指权值向量w中各个元素的绝对值之和 L2正则化，又称Ridge Regression，是指权值...
岭回归（l2约束的高斯核最小二乘）
qianshishangdi的博客
04-13 707
import math import numpy as np import matplotlib.pyplot as plt def gener(sta, end, num): # 生成y=x^2的测试集 # 随机干扰因子 sampleNo = num mu = 0.01 sigma = 0.5 np.random.seed(0) s = np...
【转】LASSO回归与L1正则化 西瓜书
lyy的博客
05-25 455
https://blog.youkuaiyun.com/BIT_666/article/details/80051737 总结，lasso约束相比l2更能促进参数的系数解，然后求解lasso问题可以使用PGD（Proximal Gradient Descent）方法，而PGD方法可以适应软阈值函数（Soft Thresholding）来求解。 ...
L1正则化详解
发几十块的吧
10-19 1493
L1正则化详解。
什么是L1和L2正则化
03-24
<think>好的，我现在需要回答用户关于L1和L2正则化的概念及区别的问题。首先，我需要回顾一下L1和L2正则化的基本定义和公式，然后比较它们的应用场景。根据用户提供的引用内容，我需要确保引用的信息准确，并且在回答中正确标注来源。 首先，定义部分。用户提供的引用中提到，L1正则化对应的是1-范数，而L2正则化是2-范数。例如，引用[1]和引用[4]都提到了这一点。L1正则化的公式应该是权重的绝对值之和，而L2是平方和的开方，但在机器学习中通常表示为平方和的一半，可能为了方便求导。例如，引用[2]提到L1和L2作为惩罚项，添加到损失函数中。引用[3]详细说明了L1的特点，比如稀疏性和特征选择，而L2倾向于分散权重。 接下来需要整理两者的区别。根据引用[3]，L1会生成稀疏权重向量，有助于特征选择，而L2让权重更小，避免过拟合。此外，L2在优化时更平滑，更容易收敛，可能更适合高相关性的特征情况。应用场景方面，L1适用于特征选择需求高的场景，如高维数据；L2适用于需要模型稳定性的情况，如防止过拟合。 还需要注意公式的正确性。根据引用[4]，L2的公式是权重的平方和，而L1是绝对值之和。在数学表达上，应该使用LaTeX格式，并且按照用户的要求，行内公式用$...$，独立公式用$$...$$。例如，L1的正则化项是$\lambda \sum |w_i|$，而L2是$\lambda \sum w_i^2$。这里要注意，可能用户示例中的公式写法，比如是否有系数的不同，比如L2通常用的是平方和的一半，但有时候文献中可能省略系数，直接写成平方和乘以λ。 然后，应用场景部分需要结合引用中的内容。引用[3]提到L1的稀疏性和特征选择，适用于需要模型解释性的情况，比如金融或生物医学领域。L2在引用[4]中被指出在避免过拟合时使用越来越多，适合一般性的回归问题，尤其是特征相关性高的情况，比如图像处理或自然语言处理。 可能还需要考虑两者的几何解释，L1正则化在参数空间中形成菱形约束，导致解在角点上，从而产生稀疏性；而L2形成圆形约束，解更靠近原点，参数更小但非零。这一点在引用中可能没有直接提到，但根据知识库外的知识，可能需要补充，但用户提供的引用中没有相关描述，所以可能不需要包含。 最后，确保引用的正确标注。例如，当提到L1的特征选择时，引用[3]中有相关说明，所以在句末添加[^3]。当提到L2防止过拟合时，引用[4]提到这一点，所以标注[^4]。每个引用要对应正确的内容来源。 现在需要组织回答的结构，先定义，再公式，再区别，最后应用场景。确保每个部分都有对应的引用支持，并且正确使用LaTeX格式。检查是否有遗漏的要点，比如优化时的计算差异，比如L1在0点不可导，可能需要使用次梯度等方法，而L2处处可导，更容易优化。这一点在引用中没有提到，但根据用户提供的引用内容，可能不需要深入，或者可以简要提及，但如果没有引用支持的话可能需要省略。 总结，回答的结构应该是： 1. 定义和公式：分别介绍L1和L2，给出数学表达式，引用对应的来源。 2. 核心区别：稀疏性、特征选择、解的特性、优化难易等，引用相关引用。 3. 应用场景：各自适用的场景，引用中的例子。 4. 相关问题：生成三个相关问题，如优化方法、如何选择、组合使用等。 现在需要将这些内容用中文清晰表达，并确保每个引用的位置正确，公式格式正确，没有语法错误。</think>### L1正则化与L2正则化的概念及区别 #### 1. **定义与公式** - **L1正则化**（LASSO回归）：在损失函数中添加权重的**绝对值之和**作为惩罚项，表达式为： $$J(\mathbf{w}) = \text{原始损失函数} + \lambda \sum_{i=1}^n |w_i|$$ 其中$\lambda$为正则化强度，$w_i$为模型参数[^1][^2]。 - **L2正则化**（岭回归）：在损失函数中添加权重的**平方和**作为惩罚项，表达式为： $$J(\mathbf{w}) = \text{原始损失函数} + \lambda \sum_{i=1}^n w_i^2$$ L2正则化通过限制权重的大小防止过拟合。 #### 2. **核心区别** | **特性** | **L1正则化** | **L2正则化** | |----------------|-----------------------------------------------------------------------------|-----------------------------------------------------------------------------| | **稀疏性** | 倾向于将部分权重置零，生成稀疏解，适用于特征选择[^3]。 | 使权重整体趋近于较小值，但不为零。 | | **几何解释** | 参数空间的菱形约束，解可能出现在顶点（即某些参数为0）。 | 参数空间的圆形约束，解靠近原点，参数分布更均匀。 | | **优化特性** | 在0点不可导，需使用次梯度等方法优化。 | 处处可导，优化更稳定。 | | **抗噪声能力** | 对异常值鲁棒性较强[^3]。 | 对异常值敏感，但能减少参数波动。 | #### 3. **应用场景** - **L1正则化**： - **高维数据**（如基因表达数据），需筛选关键特征。 - **模型可解释性要求高**的场景（如金融风控、医学诊断）。 - **L2正则化**： - **特征相关性高**（如自然语言处理中的词向量）。 - **防止过拟合**，提升模型泛化能力（如图像分类）[^4]。 #### 4. **选择建议** - 若特征数量远大于样本量，优先使用L1正则化以简化模型。 - 若特征间高度相关，L2正则化能更稳定地分配权重。 - 也可结合两者（Elastic Net），平衡稀疏性与平滑性[^3]。 ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值