L1正则化与稀疏性

原创 已于 2022-02-16 17:56:11 修改 · 1.6k 阅读 · 21 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#回归 #机器学习 #线性代数

于 2022-02-16 17:48:24 首次发布
本文探讨了L0、L1、L2范数在回归和机器学习中的作用，重点分析了L1正则化如何通过解空间形状促使模型参数具有稀疏性，从而达到减少过拟合，提升泛化能力的效果。L1正则化相较于L2范数更容易产生0参数，实现特征选择，是嵌入式特征选择的有效方法。
1. L0、L1、L2

x=(x1,x2,…,xn)T x=( x_1,x_2,…,x_n)^T x=(x1​,x2​,…,xn​)T

1-范数:
║x║1=│x1│+│x2│+…+│xn│ ║x║_1=│x_1│+│x_2│+…+│x_n│ ║x║1​=│x1​│+│x2​│+…+│xn​│

2-范数:
║x║2=(│x1│2+│x2│2+…+│xn│2) ║x║_2=\sqrt{(│x_1│^2+│x_2│^2+…+│x_n│^2)} ║x║2​=(│x1​

最低0.47元/天 解锁文章
L1正则化——为什么具有稀疏性呢？
qlkaicx的博客
04-19 2156
首先，L1正则化的正则化项是权重向量的绝对值之和。在优化过程中，这个正则化项会引导模型尽量将某些权重压缩为零。这是因为最小化L1正则化项（即权重向量的绝对值之和）的过程中，优化算法会倾向于让不太重要的权重趋于零。其次，从几何角度来看，L1正则化在优化过程中用一个菱形去逼近目标。这种逼近方式使得L1正则化更容易在坐标轴和目标相交，因此更容易得到稀疏解，即权重向量的某些分量可能为零。
[机器学习速成课程] 稀疏性正则化 (Regularization for Sparsity)-学习笔记
qq_20039347的博客
03-20 8052
稀疏性和 L1 正则化学习目标：计算模型大小通过应用 L1 正则化来增加稀疏性，以减小模型大小降低复杂性的一种方法是使用正则化函数，它会使权重正好为零。对于线性模型（例如线性回归），权重为零就相当于完全没有使用相应特征。除了可避免过拟合之外，生成的模型还会更加有效。L1 正则化是一种增加稀疏性的好方法。导入，跟之前一样import math from IPython import display...
稀疏编码: LASSO，近端梯度优化（PGD），迭代软阈值算法（ISTA），L-Lipschitz条件，软阈值
wzg2016的博客
10-08 6543
在用到稀疏编码时，难免会提到以下概念： （1）LASSO(Least Absolute Shrinkage and Selection Operatior): 最小绝对收缩选择算子。这个名词听名字比较唬人，很高大上的样子，其实本质很简单，就是给一个解向量增加一个L1范数约束，使解向量的元素尽可能稀疏（0元素越多越好）。L1范数就是一个向量的各元素的绝对值之和。 （2）近端梯度下降（Proximal Gradient Descent, PGD），也可以称为近端梯度优化:听着也很高大上。其实质就是，当一个损
一文看懂L1正则化使得学习模型稀疏化（拉格朗日）
weixin_59737997的博客
03-01 2098
正则化是指通过对学习模型的参数进行限制，对学习模型的算法思想进行修改从而有效减小学习模型的泛化误差而非训练误差的方法。我们知道训练学习模型的意义并不在与其在训练数据上的表现，而在于实际面对未知数据时模型的表现能否令人满意。当使用结构十分复杂的模型结构进行训练时，可能会出现在训练数据上模型表现正常但在未知的新数据上模型表型不佳的情况，导致模型的泛化能力下降。此时我们就要使用正则化来降低模型的复杂度。L1正则化是通过对学习模型的损失函数添加L1范数项来实现系统的正则化。
L1正则化使得模型参数具有稀疏性的原理
netcaoniao的专栏
06-08 2162
这个问题是在看正则化的问题引出的，正则化(regularization)是为了解决模型过拟合的问题引出的，为什么会发生过拟合的问题呢，Sparsity and Some Basics of L1 Regularization这篇文章中有提到。 该文章中以线性回归为例,是数据矩阵，是由标签组成的列向量。该问题具有解析解 其中p表示的是特征的维度，n表示的是样本数据的数量，当p远大于n的时...
机器学习系列手记（七）：优化算法之L1正则化与稀疏性
yly_3026925713的博客
04-19 1152
优化算法 L1正则化与稀疏性       稀疏性，说白了就是模型的很多参数是0。这相当于对模型进行了一次特征选择，只留下一些比较重要的特诊个，提高模型的泛化能力，降低过拟合的可能。在实际应用中，机器学习模型的输入动辄几百上千万维，稀疏性就显得更加重要。下面我们来说说L1正则化使得模型参数具有稀疏性的原理。   &nbs...
l1_ls_matlab_L1正则化问题_正则化_
09-29
与L2正则化（参数的平方和）不同，L1正则化有使某些参数趋于零的倾向，从而实现特征选择或稀疏解。这种特性在高维数据中尤其有用，因为它可以帮助我们找出哪些特征对预测结果最重要。 在MATLAB中实现L1正则化的线性...
百面机器学习—13.L1正则化与稀疏性
柳杰的博客
05-11 742
文章目录1. 为什么希望模型参数具有稀疏性？2. L1正则化使得模型参数具有稀疏性的原理是什么？角度：解空间形状 1. 为什么希望模型参数具有稀疏性？   稀疏性，说白了就是模型的很多参数是0。这相当于对模型进行了一次特征选择，只留下一些比较重要的特征，提高模型的泛化能力，降低过拟合的可能。在实际应用中，机器学习模型的输入动辄几百上千万维，稀疏性就显得更加重要。 2. L1正则化使得模型参数具有稀疏性的原理是什么？ 角度：解空间形状   在二维的情况下，黄色的部分是L2和L1正则项约束后的解空间，绿色的等高
【理论与实例】L1正则化为什么可以使模型参数具有稀疏性？
MiaLove
07-01 3840
L1正则化为什么可以使模型参数具有稀疏性？ 参数稀疏性的意义 稀疏性就是很多参数为0的情况，对于维度很高的模型，稀疏性意味着抓住主要矛盾，可以提升模型的泛化性能。 为什么L1正则化与L2正则化相比，具有稀疏性？ L1正则化与L2正则化 L1正则化：W∗=argmin∑j(t(Xj)−∑iwihi(Xi))2+λ∑i=1k∣wi∣W^*=argmin\sum_j(t(X_j)- \sum_iw_ih...
一文看懂L1正则化使得学习模型稀疏化的底层逻辑（泰勒展开数学推导）
最新发布
weixin_59737997的博客
03-05 778
L1正则化使得学习模型稀疏化的底层逻辑
L1正则化进行稀疏选择的数学解释
玄云飘风的博客
04-15 919
令L(w)=l0(w)+λ∑∣wi∣L(w)=l_0(w)+\lambda\sum|w_i|L(w)=l0​(w)+λ∑∣wi​∣， 则∂L(w)∂wi=∂l0(w)∂wi+λsign(wi)\dfrac{\partial L(w)}{\partial w_i}=\dfrac{\partial l_0(w)}{\partial w_i}+\lambda sign(w_i)∂wi​∂L(w)​=∂w...
为什么L1正则化导致稀疏解
qq_37746927的博客
06-08 502
为什么L1正则化导致稀疏解 转自:https://blog.youkuaiyun.com/qq_26598445/article/details/82844393 一、从数据先验的角度 首先你要知道L1范式和L2范式是怎么来的,然后是为什么要把L1或者L2正则项加到代价函数中去.L1,L2范式来自于对数据的先验知识.如果你认为,你现有的数据来自于高斯分布,那么就应该在代价函数中加入数据先验P(x),一般由于推导和计算方便会加入对数似然,也就是log(P(x)),然后再去优化,这样最终的结果是,由于你的模型参数考虑了数据
【学习笔记】稀疏性正则化(l1正则化)
Canon__的博客
09-29 4544
还记得我们之前用经度和纬度来进行分箱吗？ 仅仅是2个特征进行分箱组合就让我们的输入特征数量暴增。假设我们现在有k个特征需要来分箱，每个分为长度为k的独热编码。那么我们输入特征就为 k^k个，这种指数增长会占用我们大量ram。这是我们需要办法来拯救我们的ram。那么一个好的方法就是让我们的部分权重为0，正好为0的权重会使相应特征从模型中移除。会节省我们的ram同时也会降低我们模型中的噪点。 很遗憾...
L1相较于L2的稀疏性
autocyz
08-01 6301
L1相较于L2的稀疏性在机器学习中，常见的正则化项有L1（L=∑|w|L=\sum|w|）和L2(L=||w||2L=||w||^2)，并且也经常会看到L1相较于L2有较高的稀疏性，虽然记住了这句话的内容，但总是不理解其具体含义，也不理解为何又稀疏性，在研究了一番后，有了一些理解，因此分享给大家。 （本文部分内容和图片引用自：https://www.zhihu.com/question/37096
L1正则化如何导致参数的稀疏性
omadesala的专栏
01-01 8613
L1正则化如何导致参数的稀疏性 一直以来对LR正则化添加的L1，L2 惩罚项没有搞清楚是什么意义 pluskid的博客http://freemind.pluskid.org/machine-learning/sparsity-and-some-basics-of-l1-regularization/#67364f6b44ff80f9f952d5a46f2307425d2ee9ac
笔记 | 范数 正则化 稀疏
Limeym的博客
11-18 1097
介绍范数 正则化 稀疏
l1正则化表达式_L1 正则化与嵌入式特征选择 (稀疏性)
weixin_27510107的博客
02-17 499
L1 正则化与嵌入式特征选择 (稀疏性)岭回归的历史可追溯到 1943 年由 A.Tikhonov 发表在苏联科学院院刊上的一篇文章, 我们知道计算机是在 1946 年发明出来的, 由此可见, 这是一个历史悠久的算法, 至今依旧有生命力, 属于经典算法之一岭回归, 是线性回归的 L2 正则化方式本质上是一种回归给定数据集 D = {(x1,y1),(x2,y2),...,(xm,ym)}, 其中 ...
基于L1正则化的稀疏编码与字典学习方法研究
在【标题】“SparseCoding：基于L1的字典学习，用于稀疏编码”中所描述的内容正是围绕这一理念展开，重点在于利用L1正则化来实现稀疏性约束下的字典学习过程。这种技术能够从原始数据中自动学习出最具代表性的基函数...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值