机器学习——岭回归和LASSO回归

最新推荐文章于 2025-06-19 10:41:09 发布
最新推荐文章于 2025-06-19 10:41:09 发布
阅读量6.5k 收藏 4
点赞数
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u014318111/article/details/50800988
本文探讨了多元线性回归中遇到的多重共线性问题，介绍了岭回归（Ridge Regression）作为解决方案，包括如何通过岭迹图选择合适的岭参数，并讨论了岭回归在变量筛选中的作用。此外，还提到了LASSO回归，一种通过一阶惩罚函数减少模型复杂度，特别适合处理多重共线性数据的方法。弹性网（Elastic Net）作为结合岭回归和LASSO特性的方法也被提及。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.用矩阵表示多元线性回归

Y=BX+a

Q(B)=(Y-BX)T(Y-BX)达到最小时的B值。

也即是残差平方和最小时。B（Bi）的值。可以证明B的最小二乘估计=（XTX）-1XTy

其中（XTX）-1为广义逆。

如果X存在线性相关的话，XTX没有逆：

    1.出现多重共线性2.当n<p,变量比样本多时，出现奇异

岭回归（Ridge Regression）

先对数据做标准化

B(K)=(XTX+kI)XTY为B的岭回归估计，其中K为岭参数，I为单位矩阵，KI为扰动。

岭迹图帮助我们发现多重共线性，以及取那个K值。在图中，k很小时，B很大，k稍微增大，B迅速变小，肯定有多重共线性。多重共线性的岭迹图一般呈喇叭口状。选喇叭附近的k值。

岭迹图可以筛选变量，有个变量的系数长期很接近于

最低0.47元/天 解锁文章

200万优质内容无限畅学
u014318111
关注
【人工智能】机器学习：岭回归与LASSO回归(Ridge/LASSO Regression)
AI天才研究院
05-07 1万+
岭回归与LASSO回归是将正则化思想引入线性回归模型后得到的方法。 岭回归对模型的参数加入L2正则化，能够有效的防止模型过拟合，解决非满秩下求逆困难的问题。 LASSO回归全称为Least Absolute Shrinkage and Selection Operator (最小绝对收缩选择算子, 套索算法) ，对模型的参数加入L1正则化，能够稀疏矩阵，进行庞大特征数量下的特征选择。
岭回归和套索回归（Lasso）——解决多元回归的多重共线性问题
david2000999的博客
05-21 1万+
目录标题岭回归Lasso回归Stata的使用K 折交叉验证案例总结何时使用lasso回归 解决问题：变量过多时可能会导致多重共线性问题造成回归系数的不显著，甚至造成OLS估计的失效 岭回归和lasso回归在OLS回归模型的损失函数上加上了不同的惩罚项，该惩罚项由回归系数的函数构成，一方面，加入的惩罚项能够识别出模型中不重要的变量，对模型起到简化作用，可以看作逐步回归法的升级版；另一方面，加入的惩罚项能够让模型变得可估计，即使之前的数据不满足列满秩，在稍后的原理推导中我们将更加详细的说明这一点。 岭回归 优点
机器学习--岭回归和Lasso回归
weixin_50267049的博客
11-21 7942
任何数据都存在噪声和多重共线性 如何解决多重共线性 ？ 1.算法角度（正则化） 2.数据角度（最有效果） 岭回归与Lasso回归的出现是为了解决线性回归出现的过拟合（数据间高度线性相关）以及在通过正规方程方法求解θ的过程中出现的x转置乘以x不可逆这两类问题的，这两种回归均通过在损失函数中引入正则化项来达到目的，具体三者的损失函数对比见下图： 其中λ称为正则化参数，如果λ选取过大，会把所有参数θ均最小化，造成欠拟合，如果λ选取过小，会导致对过拟合问题解决不当，因此λ的选取是一个技术活。 岭回归与Lasso回
岭回归和LASSO回归的区别
kyle1314608的博客
02-14 6518
...
Lasso回归分析具体示例与步骤
最新发布
SPSSAU的博客
06-19 541
假设我们有一组数据，研究胎儿的身长(cm)、头围(cm)、体重(g)对胎儿受精周龄的影响。在使用线性回归分析时，发现VIF值大于200，存在严重的共线性问题。因此，我们选择使用Lasso回归模型进行研究。Lasso回归分析（Lasso Regression）是一种用于解决线性回归分析中自变量共线性问题的研究算法。以下是具体的示例和步骤，帮助您更好地理解和应用Lasso回归分析。具体操作步骤（以SPSSAU为例）Lasso回归分析具体示例与步骤。
岭回归和lasso回归的区别和联系
weixin_42607969的博客
02-17 657
这两种回归方法都是常用的建模方法，它们的目的都是降低数据中噪声的干扰，最大限度地提高拟合度，以获得更准确的预测结果。岭回归采用L2正则化，通过加入一个惩罚项来限制参数的大小，从而达到减少过拟合的目的；而Lasso回归则采用L1正则化，将参数的绝对值之和作为惩罚项，从而实现参数的稀疏化，即选择出最有用的参数。 ...
lasso回归、岭回归
冷月无声的博客
05-13 3273
目录 L1惩罚 & L2惩罚 Lasso估计 岭回归 Ridge Regression Ridge 估计 图示lasso和Ridge的差异 从统计学的语言描述，lasso（ least absolute shrinkage and selection operator）最小化残差平方和并使系数的绝对值之和小于某个常数，即对损失函数添加一个L1罚函数使一些指标的...
机器学习：线性回归、岭回归、Lasso回归
jiangjiane
08-26 2353
 转载自：https://blog.youkuaiyun.com/hzw19920329/article/details/77200475 线性回归作为一种回归分析技术，其分析的因变量属于连续型变量，如果因变量转变为离散型变量，将转换为分类问题。回归分析属于有监督学习问题，本博客将重点回顾标准线性回归知识点，并就线性回归中可能出现的问题进行简单探讨，引出线性回归的两个变种岭回归以及Lasso回归，最后通过...
模型选择——岭回归和Lasso回归
qq_48988106的博客
10-19 3162
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录系列文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 模型选择方法有三种，分别是：子集选择法（subset selection), 收缩法（Shrinkage）和降维法（Dimension Reduction）。 之前已经介绍过子集选择法，这篇文章主要介绍模
机器学习专栏（26）：正则化线性模型——岭回归、Lasso与弹性网络
Conan_0728的博客
04-25 945
通过本文实战，我们掌握了正则化技术的三大法宝：岭回归的平衡之道、Lasso的断舍离哲学、弹性网络的兼收并蓄，更收获了提前停止法这份"免费午餐"。为核心，手把手实现岭回归、Lasso回归、弹性网络三大法器，揭秘提前停止法的"免费午餐"。当模型因复杂度过高开始"放飞自我"时，如何给它的"脑洞"戴上紧箍咒？正确：设置耐心轮次（如连续50轮无改进）错误：认为Lasso选出的特征绝对重要。错误：特征相关性强时使用纯Lasso。正确：优先选择弹性网络或岭回归。正确：结合业务知识二次验证特征。，让你的模型既灵活又可靠！
机器学习——逻辑回归，岭回归与LASSO，模型评价指标学习笔记
RRie1的博客
05-19 3090
逻辑回归 —— 用于解决分类问题 误差计算 ​ 原来计算预测值，线性计算结果如果小于零，预测值为0；如果原来计算预测值为1，预测值就为1。结果只有0和1两种取值，但是这样如果样本错误分类，误差为1，如果样本正确分类，误差为0。这种误差计算方式太为武断，且无法反映误差大小。如下： h(x)={0θTx<01θTx>0 h(x) = \begin{cases} 0 && \theta^Tx<0\\ 1 && \theta^Tx>0\\ \end{cas
岭回归与LASSO回归：解析两大经典线性回归方法
null18的博客
09-20 9802
这是一个用于回归问题的评估指标，用于度量模型的预测值与实际观测值之间的均方误差。均方误差越小，模型的性能越好。这里我进行一个代码的解释说明，我们定义了一个plot_model函数，这个函数的参数是一个已经训练好的模型，之后打印一个均方误差，用于为了测试预测性能；L1正则化和L2正则化都是用于线性回归等机器学习模型中的正则化技术，它们的作用是防止模型过拟合，提高模型的泛化能力。适用情况：L2正则化通常用于处理多重共线性问题或者在模型需要保留大部分特征的情况下，但希望限制回归系数的大小以提高模型的泛化能力。
机器学习3-岭回归，Lasso，变量选择技术
只是甲的博客
06-22 4894
岭回归 回归的变量选择
7.机器学习-十大算法之一拉索回归（Lasso）算法原理讲解
热门推荐
weixin_50804299的博客
04-22 2万+
拉索回归（Lasso Regression）是一种线性回归的正则化形式，它通过引入L1范数惩罚项来实现模型的稀疏性，从而有助于特征选择。在机器学习和统计学中，当数据集具有许多特征时，可能会遇到特征之间存在多重共线性或者某些特征对预测结果影响不大的情况。标准的线性回归方法可能会导致模型过拟合，并且难以解释。为了解决这个问题，拉索回归被提出。它在最小二乘法的基础上，对系数向量添加了一个L1范数惩罚项，这个惩罚项等于所有回归系数绝对值之和的λ倍（λ为惩罚系数）。
4.3 回归模型评价
qq_45047246的博客
11-29 1749
111
岭回归，Lasso和LAR学习(一)
SkyPanPanPan的专栏
06-24 2740
概要：我们要区分岭回归和lasso以及LAR的关系，岭回归是用于消除多重共线性问题，也可以用于删除无效变量（贡献率低或打酱油变量，后面会提及）。Lasso是岭回归的改进算法，对删除无效变量有帮助，而LAR是求Lasso解的一种有效算法。   先进入多远线性回归问题，先观察以下矩阵：   这里y是因变量，β1~βp是所有X的系数，β0是常数，ε1~εn是误差。因此，多远线
r语言岭回归参数选择_多重共线性的解决方法之——岭回归与LASSO
weixin_33824590的博客
12-23 3661
多元线性回归模型的最小二乘估计结果为如果存在较强的共线性，即 中各列向量之间存在较强的相关性，会导致的从而引起对角线上的 值很大并且不一样的样本也会导致参数估计值变化非常大。即参数估计量的方差也增大，对参数的估计会不准确。因此，是否可以删除掉一些相关性较强的变量呢？如果p个变量之间具有较强的相关性，那么又应当删除哪几个是比较好的呢？本文介绍两种方法能够判断如何对具有多重共线性的模型进行变量剔除。即...
岭回归，LASSO回归与弹性网
qq_41977984的博客
10-02 2065
这两种回归主要针对特征之间存在多重共线性或者特征数多于样本量的情况。话句话说就是特征向量组成的矩阵不是一个满秩矩阵（特征数大于对应矩阵的秩） 岭回归 岭回归的代价函数是经过L2正则化（正则化可以降低模型复杂度）后的代价函数，如下，并对其求导令导数为0，得到参数θθθ（也即www）如下： L2范数惩罚项的加入使得(XTX+λI){( X^TX+\lambda I)}(XTX+λI)满秩，保证了可逆，但是也由于惩罚项的加入，使得回归系数www(或θ\thetaθ)的估计不再是无偏估计。所以岭回归是以放弃无偏
岭回归-减少过拟合问题
wangshujuan的博客
06-27 2174
什么是过拟合？ 在训练假设函数模型h时，为了让假设函数总能很好的拟合样本特征对应的真实值y，从而使得我们所训练的假设函数缺乏泛化到新数据样本能力。 怎样解决过拟合 过拟合会在变量过多同时过少的训练时发生，我们有两个选择，一是减少特征的数量，二是正则化，今天我们来重点来讨论正则化，它通过设置惩罚项让参数θ足够小，要让我们的代价函数足够小，就要让θ足够小，由于θ是特征项前面的系数，这...
机器学习：线性回归、岭回归与Lasso回归解析
本文主要介绍了机器学习中的三种回归方法——线性回归、岭回归和Lasso回归，包括它们的基本概念、目标函数、优化方法以及在实际应用中的意义。 线性回归是一种基本的统计分析方法，它尝试通过一个线性函数来拟合...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值