【理论与实例】L1正则化为什么可以使模型参数具有稀疏性？

最新推荐文章于 2025-10-17 11:24:15 发布
原创 最新推荐文章于 2025-10-17 11:24:15 发布 · 3.8k 阅读 · 16 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

L1正则化通过约束解空间、梯度下降过程及先验概率影响，促进模型参数稀疏性，提高泛化性能。在不同维度下，L1正则化的解空间形状使得参数更可能为0，相较于L2正则化更能实现特征选择。通过实例分析，调整L1正则化比例，可明显观察到参数稀疏性的变化。

L1正则化为什么可以使模型参数具有稀疏性？

稀疏性就是很多参数为0的情况，对于维度很高的模型，稀疏性意味着抓住主要矛盾，可以提升模型的泛化性能。
L1正则化： W ∗ = a r g m i n ∑ j ( t ( X j ) − ∑ i w i h i ( X i ) ) 2 + λ ∑ i = 1 k ∣ w i ∣ W^*=argmin\sum_j(t(X_j)- \sum_iw_ih_i(X_i))^2+\lambda\sum_{i=1}^k|w_i| W∗=argminj∑​(t(Xj​)−i∑​wi​hi​(Xi​))2

最低0.47元/天 解锁文章
L1正则化——为什么具有稀疏性呢？
qlkaicx的博客
04-19 2190
首先，L1正则化的正则化项是权重向量的绝对值之和。在优化过程中，这个正则化项会引导模型尽量将某些权重压缩为零。这是因为最小化L1正则化项（即权重向量的绝对值之和）的过程中，优化算法会倾向于让不太重要的权重趋于零。其次，从几何角度来看，L1正则化在优化过程中用一个菱形去逼近目标。这种逼近方式使得L1正则化更容易在坐标轴和目标相交，因此更容易得到稀疏解，即权重向量的某些分量可能为零。
L1正则化与稀疏性
qq_42248452的博客
02-16 1671
L1正则化使模型参数具有稀疏性的原理
一文详解！大模型优化技术：模型稀疏化，零基础小白收藏这一篇就够了！！！
最新发布
Gaga246的博客
10-17 1014
稀疏化技术通过减少不必要的计算和内存消耗来优化大语言模型，主要包括三种策略：无结构剪枝（移除单个权重）、结构化剪枝（剪除整个层或通道）和专家稀疏化（针对MoE模型）。这些技术能在保持模型性能的同时，显著降低计算资源消耗，使大模型在资源受限环境中也能高效运行。
机器学习——L1范数充当正则项，让模型获得稀疏解，解决过拟合问题
qq_53142796的博客
04-17 1853
在讨论上面三个问题之前，我们先来看看什么是过拟合问题:假设我们现在买了一个机器人，想让它学会区分汉字，例如认定前5个字属于第一类，后5个字属于第二类。在这里，10个字是所有的训练的“数据”不幸的是，机器人其实很聪明，它能够把所有的字都“记住”，看过这10个字以后，机器人学会了一种分类的方式:它把前5个字的一笔一划都准确地记在心里。只要我们给任何一个字，如“揪”(不在10个字里面)，它就会很自信地告诉你，非此即彼，这个字属于第二类。
L1正则化使得模型参数具有稀疏性的原理。
GFDGFHSDS的博客
03-01 2375
角度1：解空间形状。 面试者给出的答案多数也是从这个角度出发的。在二维的情况下，黄色的部分是L2和L1正则项约束后的解空间，绿色的等高线是凸优化问题中目标函数的等高线，如图7.6所示。由图可知，L2正则项约束后的解空间是圆形，而L1正则项约束的解空间是多边形。显然，多边形的解空间更容易在尖角处与等高线碰撞出稀疏解。 但是为什么为什么加入了L1正则项就是定义了一个解空间约束？为什么L1和L2的解空...
L1正则能够得到稀疏解
junjian Li
04-01 2145
在复习到过拟合的解决方法的时候L1正则化和L2正则化都可以用于降低过拟合的风险，但是L1正则化还会带来一个额外的好处：它比L2正则化更容易获得稀疏解，也就是说它求得的w权重向量具有更少的非零分量。主要就其为什么可以防止过拟合总结一下，相当于写个小笔记。 首先L1和L2正则降低了模型的复杂度，是对模型复杂度的惩罚。并且L1正则能够得到稀疏解，L2正则能够得到平滑解。 1、首先为什么L1正则能够得到稀疏解呢？ 1.1 用图解释： l1正则用一个菱形去逼近目标，而l2正则用一个圆形去逼近目标，所以在逼近的过程过，
正则化的通俗解释_从机器学习的直观角度理解---正则化为什么可以抑制过拟合？...
weixin_39869432的博客
12-03 317
前言上期详细的介绍了过拟合的现象。那如何抑制过拟合呢？大家都知道应该加入正则化项，那为什么加入正则化可以达到这个效果？参考了很多资料，所以就有了这篇笔记。本文约2.4k字，预计阅读15分钟正则化机器学习的直观理解在机器学习中，我们要想找到数据背后的规律，就需要一个足够好的模型在数据上进行推理，这就是机器学习的训练过程。如何来定义模型的好坏呢？这就引入了「损失（代价）函数」的概念。损失函数（loss...
L1正则化使得模型参数具有稀疏性的原理
netcaoniao的专栏
06-08 2168
这个问题是在看正则化的问题引出的，正则化(regularization)是为了解决模型过拟合的问题引出的，为什么会发生过拟合的问题呢，Sparsity and Some Basics of L1 Regularization这篇文章中有提到。 该文章中以线性回归为例,是数据矩阵，是由标签组成的列向量。该问题具有解析解 其中p表示的是特征的维度，n表示的是样本数据的数量，当p远大于n的时...
【参数稀疏化（Sparsification）】
一休
07-25 1196
稀疏化是一种有效的模型压缩方法，通过减少模型中的非零参数数量，能够显著降低计算和存储需求。常用的稀疏化方法包括 L1 正则化、剪枝和稀疏训练等。TensorFlow 和 PyTorch 提供了相应的工具和框架，帮助实现稀疏化技术，使得模型在保持较高性能的同时，提高运行效率。
L1正则化使参数具有稀疏性的原理
cz的博客
02-11 378
L1正则化及其稀疏性的傻瓜解释
热门推荐
Reaearcher-Du
08-21 1万+
本文翻译自：https://blog.mlreview.com/l1-norm-regularization-and-sparsity-explained-for-dummies-5b0e4be3938a 好吧，我想我就是很愚蠢。 在理解一个抽象/数学概念时，我必须把它转化到一张图像中，我必须在脑海中看到并触摸它。 我需要几何、物体、想法背后的直觉，以及现实生活中生动的比喻。 有时当我发现人们不会这样思考或者至少不会这样解释事情时，而是指着方程式和论文对我说没有简单的解释，我就很生气。 通常在我仔细考虑之后
稀疏自编码器的参数初始化
08-16
UFLDL中训练稀疏编码器时，对参数初始化的标准程序，我只是翻译了注释
L1正则化如何导致参数的稀疏性
zhe_csdn的博客
04-09 878
一直以来对LR正则化添加的L1，L2 惩罚项没有搞清楚其意义 pluskid的博客 http://freemind.pluskid.org/machine-learning/sparsity-and-some-basics-of-l1-regularization/#67364f6b44ff80f9f952d5a46f2307425d2ee9ac 让我明白了一直以来的疑问，对数据量非常少，特征非常...
稀疏数据与优化器：简述
慎独
01-21 1446
学习深度学习也有一段时间了，一直没有一个好的记笔记的习惯。这里记录一些经常见到的基础词汇。 1. 稀疏数据： 引用：https://blog.youkuaiyun.com/vucndnrzk8iwx/article/details/79185875 稀疏数据是指，数据框中绝大多数数值缺失或者为零的数据。在现代社会中，随着信息的爆炸式增长，数据量也呈现出爆炸式增长，数据形式也越来越多样化...
稀疏优化L1范数最小化问题求解之基追踪准则(Basis Pursuit)——原理及其Python实现
程序必须为人类阅读而编写，并且仅仅碰巧可以让机器执行
04-04 8667
文章目录一、前言二、问题重述三、构造 ℓ1\ell_1ℓ1​ 范数四、ℓ1\ell_1ℓ1​ 范数最小化问题转换为线性规划问题五、基于linprog的基追踪Python代码六、运行测试七、总结 一、前言 本文针对压缩重构感知中的稀疏优化问题，实现了对其 L1 范数最小化问题 的求解，文章内容较长，请耐心看完，代码部分在本文第五章。 二、问题重述 考虑线性方程组求解问题： Ax=b(1) Ax = b \tag{1} Ax=b(1) 其中向量 x∈Rn×1, b∈Rm×1x \in R^{n\t
什么是分布式稀疏参数索引
qq_15821487的博客
03-14 741
分布式稀疏参数索引 为什么要使用Paddle Serving提供的分布式稀疏参数索引服务？1）在一些推荐场景中，模型的输入特征规模通常可以达到上千亿，单台机器无法支撑T级别模型在内存的保存，因此需要进行分布式存储。2）Paddle Serving提供的分布式稀疏参数索引服务，具有并发请求多个节点的能力，从而以较低的延时完成预估服务。 分布式稀疏参数索引通常在广告推荐中出现，并与分布式训练配合形成完整的离线-在线一体化部署。下图解释了其中的流程，产品的在线服务接受用户请求后将请求发送给预估服务，同时系统会记
L1、L2的作用
37749442的博客
06-18 3262
L1的作用是为了矩阵稀疏化 L2的作用是为了防止过拟合
机器学习面试题之——简单解释正则化为什么能减小模型复杂度
cuiy0818的博客
07-25 2167
理论上，从VC维的角度可以解释，正则化能直接减少模型复杂度。（公式理论略） 直观上，对L1正则化来说，求导后，多了一项η * λ * sgn(w)/n，在w更新的过程中： 当w为正时，新的w减小，当w为负时，新的w增大，意味着新的w不断向0靠近，即减小了模型复杂度。（PS：也是为什么L1能得到稀疏解的一个参考答案） 对L2正则化来说，一方面，w的更新过程为： 若没有L2，则w前面的...
一文弄懂L0、L1和L2正则化范式
Haiwi-Song
04-28 1万+
文章目录正则化L0范数L1范数L2范数elastic net总结讨论几个问题为什么L1稀疏，L2平滑？实现参数的稀疏有什么好处吗？参数值越小代表模型越简单吗？正则式的应用场景 正则化 正则化的作用实际上就是防止模型过拟合，提高模型的泛化能力。 正则化是结构风险最小化策略的实现，是在经验风险上加一个正则化项（regularizer）或惩罚项（penalty term）。正则化一般是模型复杂度的单调递...
什么是L1正则化与L2正则化的区别？
07-15
### L1正则化与L2正则化的区别 L1正则化和L2正则化是两种常见的正则化方法，它们的主要区别体现在数学形式、优化特性以及模型稀疏性等方面。 #### 数学表达式 L1正则化通过在损失函数中添加参数的绝对值之和作为惩罚项。其数学表达式为： $$ \text{Loss}_{\text{L1}} = \text{Original Loss} + \alpha \|w\|_1 $$ 其中 $\alpha$ 是正则化系数，$\|w\|_1$ 表示权值向量 $w$ 的L1范数，即所有参数绝对值之和 [^2]。 L2正则化则通过添加参数的平方和作为惩罚项。其数学表达式为： $$ \text{Loss}_{\text{L2}} = \text{Original Loss} + \alpha \|w\|_2^2 $$ 其中 $\|w\|_2^2$ 表示权值向量 $w$ 的L2范数，即所有参数平方和的开方值 [^2]。 #### 模型稀疏性 L1正则化倾向于产生稀疏模型，即部分参数会精确为零。这种特性使得L1正则化可以用于特征选择，从而减少模型复杂度并提高可解释性 [^4]。相比之下，L2正则化不会使参数完全为零，而是使参数趋近于零。因此，L2正则化更倾向于保留所有特征，并对权重进行平滑处理 [^5]。 #### 优化行为 L1正则化通过减少一个固定常量来更新参数，这使得某些参数更容易变为零，从而形成稀疏模型 [^5]。而L2正则化则是按照参数当前值的比例进行缩减，因此参数不会被完全消除，而是逐渐趋于较小值 [^5]。 从几何角度看，L1正则化的最优解更可能出现在坐标轴上，导致某些维度的权重为零；而L2正则化的最优解更可能分布在原点附近但不会恰好落在坐标轴上，因此参数不会为零 [^4]。 #### 先验分布视角 从贝叶斯统计的角度来看，L1正则化相当于假设参数服从拉普拉斯（Laplace）分布，而L2正则化则相当于假设参数服从高斯（Gaussian）分布 [^3]。 #### 应用场景 L1正则化适用于需要稀疏模型的场景，例如大规模数据集中的特征选择，因为它能够有效减少存储需求 [^5]。L2正则化则更适合于需要平滑权重且不希望丢失任何特征信息的场景，同时它也便于实现和计算 [^5]。 ```python # 示例代码 - 使用Scikit-Learn实现带有L1/L2正则化的线性回归 from sklearn.linear_model import Ridge, Lasso # 创建一个带有L2正则化的Ridge回归实例 ridge = Ridge(alpha=0.5) # 创建一个带有L1正则化的Lasso回归实例 lasso = Lasso(alpha=0.5) # 假设X_train和y_train已经定义好了 # 进行拟合 ridge.fit(X_train, y_train) lasso.fit(X_train, y_train) ```
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值