人工智能基础_机器学习023_理解套索回归_认识L1正则---人工智能工作笔记0063

最新推荐文章于 2025-05-13 17:30:58 发布
最新推荐文章于 2025-05-13 17:30:58 发布
阅读量943 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 开源&回归和&数据库 文章标签： 人工智能 回归 笔记 套索回归 曼哈顿距离
本文为博主原创文章，未经博主 添柴程序猿 允许不得转载 违者追究法律责任。
本文链接：https://blog.youkuaiyun.com/lidew521/article/details/134347870
本文介绍了L1正则化如何提高模型的泛化能力，通过线性回归损失函数与L1正则的结合形成套索回归。L1正则通过绝对值约束权重，降低过拟合风险，使得模型曲线更加平滑。L1正则的几何意义关联到曼哈顿距离，帮助直观理解其作用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

然后上一节我们说了L1,L2正则是为了提高,模型的泛化能力,

提高泛化能力,实际上就是把模型的公式的w,权重值,变小对吧.

然后我们这里首先看第一个L1正则,是怎么做到把w权重变小的

可以看到最上面是线性回归的损失函数,然后

L1可以看到,这个正则,就是在损失函数的基础上给损失函数,添加了一个带有绝对值的||所有的w的和对,不过这里,又有一个阿尔法对吧.

这个阿尔法是用来调节,这个泛化能力强弱的,其实就是用来调节|w|,w权重的绝对值之和,这L1正则的,所占的比重对吧.

我们知道如果不添加正则化,那么出现过拟合的话,会是2这种图,可以看到,有很多地方的拐点,比较陡峭,我们知道w指的是斜率,那么曲线,曲里拐弯,说明斜率大对吧,其实就是w大,那么我们要做的就是

用L1,或者L2来降低w,把这个曲线,2这个曲线捋直,成3这个曲线对吧,让模型,不再死板,可以举一反三.

了解本专栏 订阅专栏 解锁全文 超级会员免费看
人工智能基础_机器学习026_L1正则化_套索回归权重衰减梯度下降公式_原理解读---人工智能工作笔记0066
添柴程序猿的专栏
11-13 843
-1,也就是注意是sgn(wi) = -1 ,这个时候减去一个负数,就是相加一个正数对吧,那么,因为这个时候wi是负数,那么加上一个正数,比如 -5+2 = -3 对吧,实际上w的结果是变大了,其实也就是向0靠齐对吧.我们也可以通过上面的图看出来L1正则的,一些棱角,往往在坐标轴上,所以很可能会遇到为0的w对吧,权重,其实就是x是0,也就是横轴是0的权重。首先我们知道这里的n表示学习率是步幅是大于0的,然后阿尔法是L1的惩罚系数也是大于0的,然后。带L1正则的线性回归的梯度下降公式,可以看到。
人工智能基础_机器学习024_梯度下降进阶_L1正则可视化图形---人工智能工作笔记0064
添柴程序猿的专栏
11-11 487
'left'`表示左侧边框；具体来说，`ax.spines['left'].set_position('data',0)`的作用是将左侧边框的位置设置为数据的第0个值。x1=np.linspace(0,1,50) 我们这里x,y都大于0,我们取x是0到1之间,我们取50个数的等差数列。这样的写法,实际上上,让左边的线和中间的线重合,那么就看不出来有左边的线了,bottom下边线也是一样的意思。x3 = np.linspace(0,1,50) 我们这里x大于0所以我们取x是0到1的50个等差数列。
Python机器学习|广义线性模型（4) | 套索回归
weixin_44965848的博客
02-17 1146
""" 套索回归（lasso） l1正则化的线性模型 L1正则化会导致在使用套索回归的时候，有一部分特征的系数会正好等于0，即有些特征会被彻底忽略掉 可以突出体现模型中最重要的那些特征 """ # 导入套索回归 from sklearn.datasets import load_diabetes from sklearn.linear_model import Lasso # 载入糖尿病数据集 from sklearn.model_selection import train_test_split impo
1.1.3. Lasso（套索回归）
matrix_studio的博客
11-11 8307
1.1.3. Lasso 一、简介 首先，Lasso同样是线性回归的一种变体。而文档中指出，它是一种能让参数ω\omegaω稀疏的模型（作用）。它是压缩感知领域的基础（地位），在特定情况下，它可以“恢复一组非零权重的精确集”（这句话来着别人的翻译，我暂时还不明白）。 二、损失函数特性 在Ridge Regression中，我们介绍了正则项（惩罚项）Lasso和Ridge模型上的差别也主要体现在损失函数中不同的正则项上。 在Ridge中，我们为了约束参数ω\omegaω，我们给损失函数添上了关于ω\omeg
线性回归原理推导与应用（六）：岭回归（Ridge）与套索回归（Lasso回归）
最新发布
Smilecoc的博客
05-13 1198
套索回归岭回归的原理与推导
线性回归模型之套索回归
源滚滚编程
05-16 386
本案例是基于之前的岭回归的案例的。# 将数据拆分20次用来对模型进行评分est,X,y,# 获取模型名称# 绘制模型评分# 加载数据# 绘制图形plt.show()
岭回归，套索回归
再学一夏
03-15 242
在回归问题中我们通过r2_score查看模型得分 岭回归 用L2 范数 套索回归用L1 范数 岭回归 from sklearn.datasets import load_boston from sklearn.linear_model import Ridge from sklearn.metrics import r2_score #切分数据集 随机划分测试数据和训练数据 from sklearn.model_selection import train_test_split #加载数据 .
机器学习模型系列：岭回归、套索回归和弹性网络回归
数智笔记
01-31 2578
正则化项惩罚系数的绝对值。将无关的值设为0。可能会在模型中删除太多特征。
人工智能基础_机器学习025_防止过拟合措施_正则化稀松性缩小系数到0_特征选择_螺丝回归_L1理解阿尔法系数减小图形变大_L1图形限制w大小---人工智能工作笔记0065
添柴程序猿的专栏
11-13 164
这可以使得打印出的数组更加紧凑，只显示数组的元素值。可以看到这里对于这个套索回归,这里对于这个回归的,损失函数来说,我们知道是添加了L1正则的,那么在L1正则的前面有个阿尔法,这个是设置,这个L1正则的权重的.np.random.randint(0,10,size =(3,4,5)) 这个就是3维的对吧,是3行,4小行,5小列...这个不太好说可以打印出来看。# 假设x,y都是大于零,那么这里我们修改一下,改成alpha=1,原来是1,我们改成0.5,改小了对吧,按说这个时候w就变大了才对。
人工智能基础_机器学习030_ElasticNet弹性网络_弹性回归的使用---人工智能工作笔记0070
添柴程序猿的专栏
11-14 1211
sgd = SGDRegressor (penalty = 'l2' , alpha = 0 , l1_ratio = 0.7 ) 然后再使用随机梯度下降,使用l2正则进行梯度回归下降,看看结果。model = ElasticNet(alpha = 1 ,l1_ratio = 0.7 ) 我们使用alpha是1,然后l1_ratio是0.7的参数来进行运算。print(原始方程的斜率：',w.ravel()) 打印出原始的斜率,这个w是20列1行的,这里用ravel平铺矩阵,意思就是用1维来显示数据。
L1正则化的线性模型——套索回归
执的博客
09-09 2593
1.套索回归的原理： 和岭回归一样，套索回归也会将系数限制在非常接近0的范围内，但是它限制的方式稍微有些不同，我们称之为L1正则化。与L2正则化不同的是，L1正则化会导致在使用套索回归的时候，有一部分特征的系数会正好等于0.也就是说，有一部分特征会彻底被模型忽略掉，这也可以看成是模型对特征进行自动选择的一种方式。把一部分系数变成0有助于让模型更容易理解，而且可以突出体现模型中最重要的那些特征。 2.套索回归实战： import numpy as np from sklearn.datasets import
使用套索回归对数据进行拟合
专注于各种资源、教程，免费分享
03-21 612
分别设置alpha为1,0.1,0.001对数据进行训练，并把预测结果绘制成图形， from sklearn.datasets import load_diabetes from sklearn.linear_model import Lasso from sklearn.model_selection import train_test_split import numpy as np im...
六、回归——套索回归 (Lasso Regression)的基本应用
热门推荐
Nicole的博客
06-15 4万+
一、使用场合 与岭回归类似，套索 (Least Absolute Shrinkage and Selection Operator) 也会对回归系数的绝对值添加一个罚值。此外，它能降低偏差并提高线性回归模型的精度。看看下面的等式： 套索回归与岭回归有一点不同，它在惩罚部分使用的是绝对值，而不是平方值。这导致惩罚（即用以约束估计的绝对值之和）值使一些参数估计结果等于零。使用的惩罚值越大，估计...
正则化、岭回归与LASSO回归（套索回归）
qq_31267769的博客
06-07 2428
首先补充一些铺垫知识 无偏估计 百度百科：无偏估计是用样本统计量来估计总体参数时的一种无偏推断。估计量的数学期望等于被估计参数的真实值，则称此估计量为被估计参数的无偏估计，即具有无偏性，是一种用于评价估计量优良性的准则。 简单来说，就是对总体样本进行多次采样，求出每次采样的样本均值，根据中心极限定理，这些多次取样的样本均值应该是服从正态分布的，求出这个分布的期望，这个期望等于总体样本的期望，那么这个估计就具有无偏性，就是一种无偏估计，这恰恰是构建回归算法（可以看这篇）的假设函数的基本思想。首先确定
套索回归详解 从零开始 从理论到实践
UK - UofL HW - SDE
01-21 7641
套索回归详解 从零开始 从理论到实践一、套索回归的理解二、sklearn的使用2.1、方法、参数与属性2.2、简单案例 一、套索回归的理解 二、sklearn的使用 2.1、方法、参数与属性 2.2、简单案例
Lucas带你手撕机器学习——套索回归
Lucas在澳洲
10-25 703
定义与动机：套索回归通过L1正则化项帮助进行特征选择，适用于高维数据集，能够有效减少冗余特征。实现提供了简单易用的接口，而PyTorch则允许更灵活的自定义模型。如果您有任何其他问题，或者想更深入地探讨某个方面，请随时告诉我！
岭回归和套索回归
GitChat
03-20 578
多元线性回归中应该防止过拟合出现
线性回归，岭回归，套索回归等等
Wind_know的博客
07-02 1820
目录 岭回归 原理 缩减系数来“理解”数据 优点 总结 小结 应用场景 代码实现 导包 样本小于特征，无数个解 打乱索引 矩阵乘法 比较三种算法 计算斜率 岭回归alpha最优化 导包 设X矩阵 设y 岭回归拟合 画图表示 alpha和coefs的关系 岭回归 原理 缩减系数来“理解”数据 优点 缩减方法可以去掉不重要的参数，因此能更好地理解数据。此外，与简单的线性回归相比，缩减法能取得更好的预测效果 岭回归是加了二阶正则项的最小二乘，主要适.
AI算法14-套索回归算法Lasso Regression | LR
yangguangjiujiu99的专栏
07-13 1746
在统计学和机器学习中，套索回归是一种同时进行特征选择和正则化（数学）的回归分析方法，旨在增强统计模型的预测准确性和可解释性，正则化是一种回归的形式，它将系数估计（coefficient estimate）朝零的方向进行约束、调整或缩小。也就是说，正则化可以在学习过程中降低模型复杂度和不稳定程度，从而避免过拟合的危险。一个简单的线性回归关系如下式。其中 Y 代表学习关系，β 代表对不同变量或预测因子 X 的系数估计。拟合过程涉及损失函数，称为残差平方和（RSS）。系数选择要使得它们能最小化损失函数。
HTML版机器学习课程笔记与算法应用
Scikit-learn提供的回归算法包括线性回归、岭回归（L2正则化）、套索回归（L1正则化）、弹性网络回归和多项式回归等。线性回归是最基本的回归模型，岭回归和套索回归都是线性回归的正则化形式，能够减少模型复杂度和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

添柴程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值