L1和L2正则化

最新推荐文章于 2025-06-08 06:02:23 发布
最新推荐文章于 2025-06-08 06:02:23 发布
阅读量175 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 深度学习相关 文章标签： 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lx_xin/article/details/81947459
本文深入解析了机器学习中常用的两种正则化技术——L1和L2正则化。通过直观理解与实例说明这两种方法如何帮助减少模型过拟合问题，为读者提供了丰富的理论基础和技术细节。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

详细解释L1和L2正则化的区别（面试题200合集）
qq_38334677的博客
03-12 1123
L1正则化像个果断的“断舍离大师”，通过绝对值惩罚，让不重要的参数直接归零，适合需要特征选择的场景。L2正则化像个温和的“瘦身教练”，通过平方惩罚，让所有参数均匀变小，适合保留所有特征的场景。根据你的数据和需求，选对正则化方法，能让模型既聪明又实用！
常见的正则化方法以及L1，L2正则化的简单描述
2301_76846375的博客
09-09 2865
L1 正则化通过让一些权重趋向于零，从而减少不必要的特征，简化模型。L2 正则化通过让权重整体变小，避免某些权重过大，从而减少过拟合的风险。在实际应用中，L1 更适合做特征选择，而 L2 更适合处理权重过大的问题。有时我们可以结合两者的优势，使用 Elastic Net 正则化，兼具稀疏性和权重缩小的效果。L1 正则化对每个权重 www 的更新，在原有的梯度更新基础上，施加了一个与权重符号相关的减小量。简单来说，L1 正则化的惩罚项是权重 www 的绝对值，因此对不同符号的权重，影响也不同。
xgboost调参
u012879957的专栏
09-06 795
了解偏差-方差权衡(Bias-Variance Tradeoff) 在机器学习df或统计课程中，偏差方差权衡可能是最重要的概念之一。当我们允许模型变得更加复杂（例如，更大的深度）时，模型具有更好的适应训练数据的能力，从而使模型偏差较小。然而，这种复杂的模型需要更多的数据来做训练。 xgboost中的大多数参数是关于偏差方差权衡的。最好的模型应该在模型的复杂性及模型的预测能力上做细致的权衡(注：...
机器学习稀疏之L1正则化
MyProgramingLife的专栏
01-22 7811
一、L1正则化 在L0 正则化中，通常我们有很多特征时， 这样在计算后验形式p(r|D) 有很大的复杂度。即使利用贪心算法，很容易陷入局部拟合情况。 其中一部分原因是因为 rj 特征是离散形式的， 这样造成目标函数的不光滑， 。 在优化领域中，通常的做法是对于离散的约束，我们通过松弛的方法来将其变为连续的约束。 我们可以在spike-and-slab 尖峰与平波模型中，通过在wj =0，
L1和L2简单易懂的理解
樱花落瓣
07-09 2万+
一、正则化（Regularization）                 ~~~~~~~~机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作ℓ1ℓ1-norm和ℓ2ℓ2-norm，
正则化(regularization)
热门推荐
小菜鸟的足迹~
07-19 5万+
正则化(regularization)在线性代数理论中，不适定问题通常是由一组线性代数方程定义的，而且这组方程组通常来源于有着很大的条件数的不适定反问题。大条件数意味着舍入误差或其它误差会严重地影响问题的结果。反问题有两种形式。最普遍的形式是已知系统和输出求输入，另一种系统未知的
线性回归讲解L1和L2正则化
最新发布
XiaoQiong.Zhang的博客
06-08 825
几何解释 (权重空间): 在 w1 和 w2 平面中，L1 的约束 |w1| + |w2| <= t 是一个 菱形区域（顶点在坐标轴上）。MSE 的最低点叠加这个菱形约束，最优解常常落在菱形的顶点上，而顶点就意味着某一个权重为 0（比如 (t,0) 或 (0, t) 点）。2. L1 (套索回归)： 通过强制不重要的特征的权重变为 0，直接简化模型结构，只留下最关键的特征。- 防止过拟合原理: 不仅限制了权重大小，更重要的是自动选择了最相关的特征，丢弃了无用或冗余的特征，大大简化了模型结构。
详解L1和L2正则化
He_YI的博客
11-24 1万+
大纲： L1和L2的区别以及范数相关知识 对参数进行L1和L2正则化的作用与区别 pytorch实现L1与L2正则化 对特征进行L2正则化的作用 L1和L2的区别以及范数   使用机器学习方法解决实际问题时，我们通常要用L1或L2范数做正则化（regularization），从而限制权值大小，减少过拟合风险，故其又称为权重衰减。特别是在使用梯度下降来做目标函数优化时。 L1和L2的区别 在机器学习中， L1范数(L2 normalization)是指向量中各个元素绝对值之和，通常表述为∥wi∥1\
PyTorch实现L1和L2正则化
自己在学习过程中的总结
07-27 1830
1.L1正则化与L2正则化介绍 2.利用torch.optim实现正则化 3.利用torch.optim实现正则化进阶（建议使用👏） 4.方法一：直接在loss后面加对应的惩罚项 4.1 L1正则化实现思路 4.2 L2正则化实现思路 5.方法二：通过封装一个正则化类实现正则化 5.1 封装一个实现正则化的Regularization类 5.2 利用Regularization类添加正则化
正则化的作用以及L1和L2正则化的区别
Lavi的专栏
08-21 3万+
0 正则化的作用 正则化的主要作用是防止过拟合，对模型添加正则化项可以限制模型的复杂度，使得模型在复杂度和性能达到平衡。 常用的正则化方法有L1正则化和L2正则化。L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。 L1正则化的模型建叫做Lasso回归，使用L2正则化的模型叫做Ridge回归（岭回归。但是使用正则化来防止过拟合的原理是什么？L1和L...
深度解构L1/L2正则化
MrJoice的博客
03-05 2229
当模型在训练集上表现优异而在测试集上性能骤降时，往往意味着过度记忆了训练数据中的噪声而非学习到本质规律（有时也可能是因为数据不匹配的原因）。健身人员希望最大化训练效果，但受限于每日1小时的总时间，需分配力量训练（x分钟）和有氧运动（y分钟）其核心思想是：在最小化原始损失函数的同时，对模型参数施加惩罚，迫使模型趋向于更简单的结构。这相当于在预算限制的边界上寻找装修效果的最大值，类似于在消费能力边缘找到性价比最高的组合。假设你需要用有限的预算购买地板和墙漆，目标是再满足总预算的前提下最大化装修效果。
用 Python 从零开始创建神经网络（十四）：L1 和 L2 正则化（L1 and L2 Regularization）
xzs1210652636的博客
12-03 1317
正则化方法旨在降低泛化误差。我们首先讨论的正则化形式是L1正则化和L2正则化。L1和L2正则化用于计算一个数值（称为惩罚项），将其添加到损失值中，以惩罚模型中权重和偏置过大的情况。过大的权重可能表明某个神经元试图记忆数据元素；一般认为，让多个神经元共同对模型输出做出贡献要比依赖少数几个神经元更好。
基本图像分类与目标检测网络要点总结
lx_xin的博客
09-25 7954
图像分类 AlexNet（2012） 是深度学习在计算机视觉领域的影响力较大的论文，获得了2012年ImageNet冠军。 深度为7层，基本结构如下图。准确率达到57.1%，top 1-5 达到80.2%。 使用ReLU，计算简便，缓解Sigmoid中梯度消失的问题。但当学习率较大时易出现dead神经元（落入负半区则永远无法激活），因此学习率设置不能过大。或者可以使用Leaky ReLU替代。...
在网络中用卷积层代替全连接层
lx_xin的博客
08-23 2770
参考资料： FCN用卷积层代替FC层原因（转） - byteH - 博客园 https://www.cnblogs.com/byteHuang/p/6959714.html 深度学习—之全卷积神经网络取代全连接层–用于图像分割 - 优快云博客 https://blog.youkuaiyun.com/zxyhhjs2017/article/details/78603332 占坑，待填...
CNN中感受野大小的计算
lx_xin的博客
09-15 2545
参考资料： 卷积神经网络物体检测之感受野大小计算 - machineLearning - 博客园 https://www.cnblogs.com/objectDetect/p/5947169.html CNN 感受野计算公式 - 简书 https://www.jianshu.com/p/e875117e5372 将输入图片记为第0层，其后的卷积层和池化层对RF（receptive fie...
GAN学习
lx_xin的博客
11-05 1147
开始学习GAN生成对抗网络相关知识，将要点和心得总结于此。
卷积与反卷积（deconvolution）
lx_xin的博客
11-07 795
参考资料： 如何理解深度学习中的deconvolution networks
DL相关概念汇总
lx_xin的博客
08-27 353
Maxout： Maxout Network原理及其TensorFlow实现搜狐科技搜狐网 https://www.sohu.com/a/146005028_723464
L1和L2 正则化
06-01
### L1和L2正则化的概念及其在机器学习中的应用 #### 一、L1正则化 L1正则化通过向损失函数中添加参数的绝对值之和作为惩罚项，促使模型倾向于生成稀疏解。这意味着某些特征的权重会被精确地缩减为零，从而实现特征选择的效果[^5]。这种特性使得L1正则化非常适合用于高维数据集，其中许多特征可能是冗余或无关紧要的。 L1正则化的数学形式如下： ```python Loss = MSE + λ * Σ|w_i| ``` 其中 \(MSE\) 是均方误差，\(λ\) 是正则化强度，\(w_i\) 是模型参数。 由于L1正则化的约束区域是多边形，交点更可能出现在坐标轴上，这导致了某些参数被精确设置为零[^4]。 #### 二、L2正则化 L2正则化通过向损失函数中添加参数平方和的一半作为惩罚项，迫使模型参数保持较小的值，但不会将其缩减至零。这种方法有助于减少模型的过拟合风险，同时生成更平滑的权重分布[^3]。 L2正则化的数学形式如下： ```python Loss = MSE + (λ / 2) * Σ(w_i^2) ``` 其中 \(MSE\) 是均方误差，\(λ\) 是正则化强度，\(w_i\) 是模型参数。 L2正则化的约束区域是一个圆形（或多维球体），因此交点通常位于非零位置，这使得所有特征都会保留下来，但其权重会被均匀减小[^4]。 #### 三、区别与应用场景 - **稀疏性**：L1正则化倾向于生成稀疏解，适合于需要进行特征选择的任务，例如在基因表达数据分析中，可能只有少数几个基因对疾病预测有重要影响[^5]。 - **稳定性**：L2正则化具有更好的求解特性，因为它没有不可微的点，适合于需要稳定性和连续性的场景，例如图像识别或语音处理任务[^2]。 - **计算复杂度**：L2正则化通常比L1正则化更容易优化，因为它的目标函数是处处可微的[^2]。 - **适用场景**：如果数据集包含大量噪声特征或需要自动特征选择，则L1正则化更为合适；如果希望模型更加稳健且不需要显著减少特征数量，则L2正则化更为合适[^5]。 #### 四、代码示例 以下是一个使用Python实现L1和L2正则化的线性回归模型的例子： ```python from sklearn.linear_model import Ridge, Lasso import numpy as np # 模拟数据 X = np.array([[1, 2], [2, 3], [3, 4], [4, 5]]) y = np.dot(X, np.array([1, 2])) + np.random.randn(4) # L2正则化（Ridge回归） ridge = Ridge(alpha=0.1) ridge.fit(X, y) print("Ridge Coefficients:", ridge.coef_) # L1正则化（Lasso回归） lasso = Lasso(alpha=0.1) lasso.fit(X, y) print("Lasso Coefficients:", lasso.coef_) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值