Lasso回归和岭回归

最新推荐文章于 2025-03-22 08:51:39 发布
最新推荐文章于 2025-03-22 08:51:39 发布
阅读量2.2k 收藏 15
点赞数 3
分类专栏： 数模笔记 文章标签： 统计学
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/oy_1024/article/details/107994006
版权
本文介绍了Lasso和岭回归在解决多重共线性问题时的作用，重点讲述了lambda的确定方法——K折交叉验证。通过实例分析棉花产量问题，展示了Lasso回归在变量筛选上的优势。此外，还概述了Lasso回归的使用步骤，包括变量的标准化、VIF检查以及回归分析。附录部分详细阐述了OLS、岭回归和Lasso回归的原理。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Lasso回归和岭回归


Lasso回归和岭回归的作用：为线性回归筛选变量、筛选变量、数据降维

1、两个回归的产生原因

在多元线性回归中估计回归系数使用的时OLS，OLS的使用需要满足一个条件：
n*k维数据矩阵的秩 = k 即要求矩阵列满秩，在多重线性回归中为保持回归没有完全多重共线性，需要n>=k，才能保证回归系数能够通过OLS估计出来。
（PS：n指的是样本个数，k指的是指标数）

那么当n<k时，就不能使用OLS估计系数，所以产生Lasso回归的岭回归来解决此种情况。

（PS：但是一般不使用岭回归）

2、lambda的确定方法：最小化均方差预测误差（K折交叉验证）

在这里插入图片描述

3、实例：分析棉花产量问题

分析影响棉花产量的最主要原因
在这里插入图片描述
使用lasso回归的结果：

最低0.47元/天 解锁文章
lasso回归结果美化
Mrrunsen的博客
07-21 765
说到提取数据，说难不难，说简单不简单，如果你会用搜索，就非常简单，根本不用自己写，一般来说，你遇到过的问题，有人肯定早就遇到过且解决了！如果你发文章用的话，横坐标多数都是loglambda，所以你可以把第2张和第3张拼一起，完全不影响使用。下面3个都是默认的函数画的图，真不能说丑，你看超多SCI里都是直接用的原图。lasso回归非常常用，默认的图不丑，但是总有人想要自定义，想要更好看。如果你想提取数据，也没什么难度，就是慢慢找，肯定能找到。这个包很神奇，大家有空可以学习下，没空的话等我更新。...
数据分析笔记-岭回归与Lasso回归
Fighting_Du的博客
07-12 2059
岭回归： 1、定义及原理 岭回归(英文名：ridge regression, Tikhonov regularization)是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的拟合要强于最小二乘法 在线性回归那里提到，如果我们的X矩阵存在不满秩或者几列数据相关性过强时，就会导致误差偏大。 因此为解决上述问题在原函数后加一个正则项来将不适定问题转化为适定问题。 即：j
LASSO回归实践
09-06
基于LASSO方法，在基金正式报告之前挖掘出基金重仓股。
什么是LASSO回归，怎么看懂LASSO回归的结果
热门推荐
weixin_46587777的博客
11-26 5万+
LASSO，全称Least absolute shrinkage and selection operator，是一种数据挖掘方法，即在常用的多元线性回归中，添加惩罚函数，不断压缩系数，从而达到精简模型的目的，以避免共线性和过拟合。当系数为0时，同时达到筛选变量的效果。（以下是一个不严谨的示意图）所以，LASSO回归高效解决了筛选变量的难题：区别于传统的逐步回归stepwise前进、后退变量筛选方法，LASSO回归可以利用较少样本量，高效筛选较多变量。
【漫话机器学习系列】154.岭回归（Ridge Regression）
最新发布
IT古董
03-22 1221
岭回归（Ridge Regression）是一种改进的线性回归方法，它通过引入正则化项来解决普通最小二乘法（OLS, Ordinary Least Squares）可能遇到的多重共线性问题。岭回归的核心思想是在损失函数中加入参数的 L2 正则化，从而使模型更具稳定性，减少过拟合的风险。
5.1 多元线性回归分析
qq_45047246的博客
11-29 2445
在本章中，我们将从线性回归模型开始，它是最简单的模型之一。 数据集来自于UIC数据集中的能效数据集，该数据及用来分析建筑的供热负荷能效和制冷负荷能效，其中自变量有8个，因变量有两个，实例主要分析8个自变量和供热负荷Y1之间的回归模型，使用ststsmodels库 分析建筑物的供热负荷和制冷负荷要求（即能源效率）与建筑参数的关系。 能效数据集http://archive.ics.uci.edu/ml/datasets/Energy+efficiency X1相对紧凑 X2表面积 X3墙面积 X4屋顶区域 X5
用TensorFlow实现lasso回归和岭回归算法的示例
09-20
在探讨如何使用TensorFlow实现lasso回归和岭回归算法之前，我们首先需要对这两种回归技术有所了解。Lasso回归和岭回归都是在经典线性回归模型的基础上添加了正则化项，用来防止过拟合，并处理特征变量之间可能存在的...
Python 机器学习入门之线性回归lasso回归和岭回归
weixin_67485772的博客
05-13 477
Python 机器学习入门之线性回归lasso回归和岭回归
lasso回归和岭回归
05-28
Lasso回归和岭回归是两种常见的线性回归正则化方法。它们都是为了解决线性回归中...总的来说，岭回归和Lasso回归都是常用的线性回归正则化方法，但它们的正则化方式不同，因此在应用中需要根据具体情况选择合适的方法。
[机器学习] - 岭回归与Lasso回归
ZhuNian的学习乐园
04-23 1024
1普通最小二乘法 1.1正规方程 1.2梯度下降法 1.3代码实现 2岭回归 2.1岭回归原理 2.1代码实现 3 Lasso回归 4案例实战1-车流量预测
LASSO——运行结果
m0_72979740的博客
05-08 169
变量名称如下: Index(['KNN_derta_V', 'MOID', 'e', 'a', 'q', 'i', 'node', 'peri', 'M', 'tp', 'period', 'n', 'Type_B', 'Type_C', 'Type_Cb', 'Type_Cg', 'Type_Cgh', 'Type_Ch', 'Type_D', 'Type_K', 'Type_L', 'Type_M', 'Type_O', 'Type_P', 'Type_Q'
解读正则化 LASSO回归 岭回归
Saropetry的博客
08-28 5990
在机器学习的学习过程中，我们会经常听到正则化这个词，在开始入门学习的时候还经常与标准化混淆。到底什么是正则化呢？本篇我们将由浅入深详细解读什么是正则化，以及LASSO回归和岭回归的介绍。 在正式开始之前，我们先了解几个相关基本概念。 ▍什么是过拟合？ 对于一组给定的数据，我们需要通过机器学习算法去拟合得到一个模型（对应图中曲线）。根据我们对拟合的控制和调整，这个模型可以有无数多种（一条直线，或各种形状的曲线等）。这么多种当中，哪一种是我们想要的最优结果呢？哪一种最好呢？ 我们评判模型好坏的标准是
Lasso回归总结
weixin_30628077的博客
08-29 1766
Ridge回归 由于直接套用线性回归可能产生过拟合，我们需要加入正则化项，如果加入的是L2正则化项，就是Ridge回归，有时也翻译为岭回归。它和一般线性回归的区别是在损失函数上增加了一个L2正则化的项，和一个调节线性回归项和正则化项权重的系数α。损失函数表达式如下： J(θ)=1/2(Xθ−Y)T(Xθ−Y)+1/2α||θ||22 其中α为常数系数，需要进行调优。||θ||2为L...
Lasso回归（Stata）
qq_53471484的博客
08-10 1万+
Lasso回归用于筛选重要变量
7.机器学习-十大算法之一拉索回归（Lasso）算法原理讲解
weixin_50804299的博客
04-22 2万+
拉索回归（Lasso Regression）是一种线性回归的正则化形式，它通过引入L1范数惩罚项来实现模型的稀疏性，从而有助于特征选择。在机器学习和统计学中，当数据集具有许多特征时，可能会遇到特征之间存在多重共线性或者某些特征对预测结果影响不大的情况。标准的线性回归方法可能会导致模型过拟合，并且难以解释。为了解决这个问题，拉索回归被提出。它在最小二乘法的基础上，对系数向量添加了一个L1范数惩罚项，这个惩罚项等于所有回归系数绝对值之和的λ倍（λ为惩罚系数）。
Lasso回归学习
weixin_42038527的博客
07-12 1627
LASSO，全称Least absolute shrinkage and selection operator，是由统计学家Robert Tibshirani于1996年提出的一种回归分析方法。它通过在损失函数中加入L1正则化项，实现对模型参数的惩罚，使得一部分参数趋于零。这种稀疏性的特点使得LASSO回归在高维数据集中具有出色的性能。
线性回归与岭回归以及LASSO回归结果比较
仁义
05-10 7479
文章目录多重共线性检验线性回归（linear regression）岭回归（ridge regression）LASSO回归综合比较 为了能够比较直观地了解到三种回归方法的区别，本文基于李子奈、潘文卿的《计量经济学》（第四版）第四章的同一案列进行三种方法的结果比较，具体推导过程可参见文后提供的参考链接。 首先导入需要用到的库 import warnings import numpy as np import pandas as pd import seaborn as sns import stat
数学建模学习笔记（10）：岭回归和Lasso回归
hanmo22357的博客
01-26 7466
方法功能：可以视为逐步回归法的升级版，主要用于在回归模型中存在多重共线性时筛选自变量。方法原理：在一般回归模型的损失函数的基础上加上了正则项（惩罚项），两种回归的区别在于正则项不同。岭回归的惩罚项是回归系数的平方和；Lasso回归的惩罚项是回归系数的绝对值的和。其他作用：都可以对模型进行一定程度的简化，避免模型过于复杂。传统回归模型的四个假定线性假定：假设因变量和自变量之间存在线性关系。严格外生性假定；无完全多重共线性假定；球型扰动项假定。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值