L1和L2正则

最新推荐文章于 2025-04-06 20:11:12 发布
最新推荐文章于 2025-04-06 20:11:12 发布
阅读量147 收藏
点赞数
文章标签： 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Ajdidfj/article/details/132700438
版权

L1和L2正则

L1正则常被用来进行特征选择，主要原因在于L1正则化会使得较多的参数为0，从而产生稀疏解，我们可以将0对应的特征遗弃，进而用来选择特征。一定程度上L1正则也可以防止模型过拟合。

 L2正则：

 

 L1损失函数相比于L2损失函数的鲁棒性更好。对异常值更不敏感。

参考资料：

L1和L2 详解(范数、损失函数、正则化) - 知乎 (zhihu.com)

l1正则与l2正则的特点是什么，各有什么优势？ - 知乎 (zhihu.com)

小小白2333
关注
L1和L2正则化
qq_51180928的博客
09-27 738
L1L2L∞。
【ML】L1 和 L2 正则化解释、何时使用它们以及实际示例
sikh_0529的博客
07-31 9020
最常用的正则化技术是 L1 正则化 (Lasso)、L2 正则化 (Ridge) 和弹性网络正则化。在实践中，L1 和 L2 正则化的组合（称为弹性网络正则化）通常用于利用这两种技术的优势，并在稀疏性和权重收缩之间找到平衡。请注意，这是从头开始的 L2 正则化的基本实现。因此，正则化技术和正则化参数的选择必须根据具体问题和数据集仔细选择和调整，以在模型性能的偏差和方差之间取得适当的平衡。值得注意的是，L1 和 L2 正则化之间的选择并不总是明确的，可能需要使用不同的正则化技术对模型的性能进行实验和评估。
PyTorch实现L1和L2正则化
自己在学习过程中的总结
07-27 1547
1.L1正则化与L2正则化介绍 2.利用torch.optim实现正则化 3.利用torch.optim实现正则化进阶（建议使用👏） 4.方法一：直接在loss后面加对应的惩罚项 4.1 L1正则化实现思路 4.2 L2正则化实现思路 5.方法二：通过封装一个正则化类实现正则化 5.1 封装一个实现正则化的Regularization类 5.2 利用Regularization类添加正则化
详解L1和L2正则化
He_YI的博客
11-24 1万+
大纲： L1和L2的区别以及范数相关知识 对参数进行L1和L2正则化的作用与区别 pytorch实现L1与L2正则化 对特征进行L2正则化的作用 L1和L2的区别以及范数   使用机器学习方法解决实际问题时，我们通常要用L1或L2范数做正则化（regularization），从而限制权值大小，减少过拟合风险，故其又称为权重衰减。特别是在使用梯度下降来做目标函数优化时。 L1和L2的区别 在机器学习中， L1范数(L2 normalization)是指向量中各个元素绝对值之和，通常表述为∥wi∥1\
L1和L2正则化的区别和联系
wyyfighting123的博客
05-12 648
L2正则化则倾向于使所有特征的系数都接近于0但不为0，这有助于保持模型的复杂度适中,适用于特征之间没有关联的情况。L1正则化可以产生稀疏权值矩值,即模型中的某些权重会变力0,这有助于特征选择,适用于特征之间存在关联的情况。在实际应用中,L和L2正则化经常被用于不同的场景， L1适用于特征选择,L2适应于保持模型的稳定性。都用于防止过拟合,通过在损失过数中添加正则化项来减少模型的更杂度,从而提高模型的泛化能力。L2正则化不会产生稀疏权值矩阵,所有特征的系数都会减小但不会变为0,这使得模型更加稳定。
L1和L2正则化的区别是什么？
timer_017的博客
07-11 421
L1 强制某些参数为0，产生特征选择的效果；L2 则会让所有参数趋于较小但非零值，强调参数的一致性和稳定性；L1 对异常值较不敏感，而 L2 更能抵抗离群点的影响；L1 更偏向于减少特征的数量，L2 则保持所有特征但减弱其作用。
【深度学习】正则化方法——L1和L2正则化
第三季度的博客
05-27 5065
凡是能解决模型泛化误差而不是训练误差的方法，都被称为正则化。模型的泛化误差主要是由模型过拟合引起的，所以正则化的各种方法用于解决模型过拟合的问题。
【机器学习】（5）--正则化之L1和L2正则化
m0_74896766的博客
08-19 1728
综上所述，L1正则化和L2正则化都是通过向损失函数中添加正则化项来提高模型的泛化能力，但它们在惩罚项的形式、特点和应用场景上存在差异。在实际应用中，应根据具体问题和需求选择合适的正则化方法。
L1和L2正则先验分别服从什么分布
weixin_48331187的博客
10-20 262
需要注意的是，L1和L2正则化可以视为通过先验分布对模型参数的偏好进行约束，而不仅仅局限于具体的分布形式。高斯分布是一个常见的连续概率分布，具有钟形曲线形状。- 先验假设：L2正则化的先验假设是，模型参数在不同程度上对预测结果都有一定的贡献或相关性，但对结果的影响应保持接近于零的平衡。- 先验假设：L1正则化的先验假设是，大多数模型参数是不相关的或对预测结果没有显著贡献，只有少数参数是重要的并与预测结果相关。L1正则化和L2正则化可以被视为模型参数的先验分布，在贝叶斯统计学中，它们对应了不同的先验假设。
L1和L2正则化的概率解释1
08-04
在实际应用中，我们常常会遇到两种主要的正则化方法：L1正则化和L2正则化。这两种方法各有其特点，并且可以从不同的概率角度来看待。 首先，L1正则化，也称为Lasso回归，它的目标是使得模型的权重向量具有稀疏性。...
正则化的作用以及L1和L2正则化的区别
热门推荐
Lavi的专栏
08-21 3万+
0 正则化的作用 正则化的主要作用是防止过拟合，对模型添加正则化项可以限制模型的复杂度，使得模型在复杂度和性能达到平衡。 常用的正则化方法有L1正则化和L2正则化。L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。 L1正则化的模型建叫做Lasso回归，使用L2正则化的模型叫做Ridge回归（岭回归。但是使用正则化来防止过拟合的原理是什么？L1和L...
常见的正则化方法以及L1，L2正则化的简单描述
2301_76846375的博客
09-09 2745
L1 正则化通过让一些权重趋向于零，从而减少不必要的特征，简化模型。L2 正则化通过让权重整体变小，避免某些权重过大，从而减少过拟合的风险。在实际应用中，L1 更适合做特征选择，而 L2 更适合处理权重过大的问题。有时我们可以结合两者的优势，使用 Elastic Net 正则化，兼具稀疏性和权重缩小的效果。L1 正则化对每个权重 www 的更新，在原有的梯度更新基础上，施加了一个与权重符号相关的减小量。简单来说，L1 正则化的惩罚项是权重 www 的绝对值，因此对不同符号的权重，影响也不同。
用Python解锁未来交通：开发基于机器学习的流量预测系统
Echo_Wish
04-02 122
通过以上步骤，我们构建了一个简单却实用的交通流量预测系统。虽然这里只是初步探索，但这种基于机器学习的系统在未来智慧城市中将大有可为。对于我们开发者而言，每一个数据点都隐藏着无限可能。相信通过不断学习与实践，你也能创造属于自己的智能预测系统！
24统计建模国奖论文写作框架2（机器学习+自然语言处理类）（附原文《高校负面舆情成因与演化路径研究》）
最新发布
Hou556的博客
04-06 300
情感演化分析，用到了Attention-BiLSTM（融合模型）整体来看内容丰富度和模型都比较高级，不愧为国奖。每个小部分的分析都用到了一个机器学习模型。基于QCA方法的高校负面舆情成因分析。演化分析，用到了CNM社群发现算法。典型案例的选取与娱乐时期的划分。典型案例的高校舆情主题演化分析。典型案例的高校舆情社群演化分析。典型案例的高校舆情情感演化分析。高效负面舆情热点变化趋势分析。高校负面舆情变量的选取与赋值。高效负面舆情热点词频分析。案例数据的获取与处理。
预测分析（二）：基于机器学习的数值预测
2301_81197800的博客
04-03 909
监督学习的任务一般有两种类型：回归和分类。它们的区别很明显，依据是目标的类型回归：对应着目标是一个数值特征的情形。分类：对应着目标是一个分类特征的情形。二元分类：非黑即白的多元分类：目标的类别多于两个多标签分类：多个类别或标签指派向一个结果。
预测分析（三）：基于机器学习的分类预测
2301_81197800的博客
04-03 1035
我们深入研讨一下，分类树模型中的一系列规则是如何生成的？对于二元分类问题，逻辑模型可以生成目标属于正类的条件概率。随机森林（Random Forest）是一种基于决策树的集成学习模型，通过构建多棵决策树并结合它们的预测结果来提高泛化能力。在模型输出每种类别的情况下，分类依据是最高概率的类别预测。这是默认的，但是在特定的问题情境中，也会随之改变。朴素贝叶斯是一种基于贝叶斯定理的概率分类模型，其核心思想是通过特征的条件概率来预测类别。分类树生成预测的方法是创建一些规则，连续运用这些规则，最终达到叶节点。
机器学习、深度学习和神经网络
cgaowei的博客
03-30 1016
机器学习是人工智能的一个子集，它使用计算机算法来分析数据，并根据所学内容做出智能决策。机器学习算法的三个主要类别包括监督学习、无监督学习和强化学习。 深度学习是机器学习的一个专门子集，它通过分层算法创建神经网络，使人工智能系统能够从非结构化数据中学习，并在工作中持续学习。 神经网络，一种模仿生物神经元的计算单元集合，随着时间的推移学习对数据进行决策。不同的神经网络类型包括感知器、卷积神经网络或 CNN 以及循环神经网络或 RNN。
机器学习周报-文献阅读
weixin_51923997的博客
04-03 790
本周阅读了一篇在稀疏监测数据下基于图神经网络的给水管网水质实时预测论文，文章提出了一种新的门控图神经网络(GGNN)模型用于水分配网络(WDNs)的实时水质预测。该模型整合水力流向和水质数据，采用掩蔽操作提高预测精度。通过实际WDN评估，GGNN模型能在整个网络实现准确水质预测，基于水质的传感器放置可提高预测精度，此研究为WDN建模中用机器学习模型替代水力模型迈出第一步。同时，结合论文相关知识对掩码操作和GRU原理和代码进行补充学习。
L1和L2正则化的区别
03-15
### L1与L2正则化的定义及主要区别 #### 定义 L1正则化是指在损失函数中加入权重向量的L1范数作为惩罚项。这种正则化方式倾向于使部分权重变为零，从而实现特征选择的效果[^2]。 L2正则化则是指在损失函数中加入权重向量的L2范数平方作为惩罚项。这种方式会促使权重值趋向于较小数值，但通常不会完全为零，因此其作用在于防止过拟合并提高模型稳定性[^4]。 --- #### 主要区别 1. **稀疏性** L1正则化更容易获得稀疏解，即某些权重会被精确缩减至零，从而使对应的特征被自动排除在外。而L2正则化虽然也能减少权重大小，但它并不会将任何权重降为绝对意义上的零，而是使其趋近于零，因而不具备真正的稀疏效果。 2. **对异常值敏感程度** 由于L1正则基于绝对值计算，相比起依赖平方运算的L2正则而言，前者对于较大的权值变化更加鲁棒；后者因为涉及平方操作，在面对较大偏离时可能会放大这些偏差的影响[^1]。 3. **几何解释** 在高维空间下观察约束区域形状时发现：采用L1正则形成的边界呈现多面体形态（菱形或其他棱角分明图形），这样的结构更可能接触到坐标轴上的点——对应着某个特定方向上参数全为零的情形；相反地，应用L2正则产生的单位球表面较为圆润光滑，难以触及确切坐标的原点位置[^3]。 4. **适用场景** 如果目标数据集存在许多冗余或者无关紧要的输入变量，则推荐优先考虑使用L1方法来进行建模训练过程中的简化处理。而对于那些希望维持整体平稳表现且不存在明显孤立重要因子的数据集合来说，选用L2策略往往更为合适一些。 5. **优化特性** 加入L2正则后的二次型目标函数通常是严格凸的，有助于梯度下降算法更快收敛到全局最优解附近。然而当引入L1成分之后，尽管依旧保持局部最优点的存在唯一性，但由于非可微性质的缘故，寻找最终答案的过程或许变得稍微复杂一点。 --- ```python import torch from torch import nn, optim class Model(nn.Module): def __init__(self): super(Model, self).__init__() self.linear = nn.Linear(10, 1) def forward(self, x): return self.linear(x) def l1_regularization(model, lambda_l1=0.01): l1_loss = 0 for param in model.parameters(): l1_loss += torch.sum(torch.abs(param)) return lambda_l1 * l1_loss model = Model() criterion = nn.MSELoss() # Example of applying both regularizations during training loop for data, target in dataloader: output = model(data) loss = criterion(output, target) + l1_regularization(model) + (lambda_l2 / 2) * sum([torch.norm(p)**2 for p in model.parameters()]) optimizer.zero_grad() loss.backward() optimizer.step() ``` 上述代码展示了如何在PyTorch框架里手动添加L1和L2正则化项到神经网络模型之中去执行相应的训练流程。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值