机器学习读书笔记之11 - 岭回归 & LASSO回归

最新推荐文章于 2022-10-01 10:14:15 发布
原创 最新推荐文章于 2022-10-01 10:14:15 发布 · 2.1k 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #读书笔记 #岭回归 #LASSO #最小二乘

回归分析中，最小二乘法在面对参数稳定性、模型解释能力等问题时，引入了岭回归和LASSO回归作为解决方案。岭回归通过L2范数惩罚提高稳定性，但无法进行参数选择；LASSO回归利用L1范数，不仅能降低模型复杂度，还能实现变量选择，将某些系数压缩为0。

        回归 就是 对数据进行拟合，我们常说的 线性回归、高斯回归、SVR、Softmax 都是属于 回归。

        最小二乘大家再熟悉不过了，作为入门级的线性回归，可能会遇到的一些问题：

（1）参数稳定性和精度问题

        如果 观测数据和参数 之间有比较明显的线性关系，最小二乘回归会有很小的偏倚；

        如果观测数据个数N远大于参数个数P时，最小二乘回归能得到较小的方差，如果N和P数量接近时，噪声会导致过拟合的产生；

（2）模型解释能力问题

        在一个多元线性回归模型里，很多参数可能 和 观测数据无关；

        或者也有可能 多个参数之间明显相关（有些参数是多余的）。

        这些情况会增加模型的复杂程度，削弱模型的解释能力，通常需要进行 参数选择（特征选择）。

针对这些问题通常有三种解决方案：

（1）子集测试方法

        这个最容易理解，选取

最低0.47元/天 解锁文章
【人工智能】机器学习：岭回归与LASSO回归(Ridge/LASSO Regression)
AI天才研究院
05-07 1万+
岭回归与LASSO回归是将正则化思想引入线性回归模型后得到的方法。 岭回归对模型的参数加入L2正则化，能够有效的防止模型过拟合，解决非满秩下求逆困难的问题。 LASSO回归全称为Least Absolute Shrinkage and Selection Operator (最小绝对收缩选择算子, 套索算法) ，对模型的参数加入L1正则化，能够稀疏矩阵，进行庞大特征数量下的特征选择。
从线性回归谈到岭回归lasso回归再到结构风险最小化和参数缩减
njustzj001的专栏
06-22 6346
回归和分类是机器学习算法所要解决的两个主要问题。分类大家都知道，模型的输出值是离散值，对应着相应的类别，通常的简单分类问题模型输出值是二值的，也就是二分类问题。但是回归就稍微复杂一些，回归模型的输出值是连续的，也就是说，回归模型更像是一个函数，该函数通过不同的输入，得到不同的输出。       那么，什么是线性回归，什么是非线性回归呢？线性回归与非线性回归       前面说了，我们的回归模型是一个
岭回归和lasso回归
weixin_45775970的博客
05-29 736
本文内容来源于清风老师的讲解 回归中关于自变量的选择大有门道，变量过多可能会导致多重共线性问题造成回归系数的不显著，甚至造成OLS估计的失效。 岭回归和lasso回归在OLS回归模型的损失函数(残差平方和SSE)上加上了不同的惩罚项，该惩罚项由回归系数的函数构成，一方面，加入的惩罚项能够识别出模型中不重要的变量，对模型起到简化作用，可以看作逐步回归的升级班；另一方面，加入的惩罚项会让模型变得可估计，即使之前的数据不满足列满秩。 岭回归的原理 多元线性回归：β^=arg min⁡∑i=1n(yi−x.
岭回归和Lasso 回归
IMWTJ123的博客
03-24 2231
线性回归存在问题： 在处理复杂的回归问题时，普通的线性回归问题会出现预测精度不够的问题，如果模型中特征之间有较强的相关关系时，即特征之间出现严重的多重共线性时，用普通最小二乘法估计模型参数，往往参数估计的方差太大，求出来的模型就很不稳定。再具体取值上与真值有较大偏差。这时就需要对数据中的特征进行提取，回归算法里面的特征选择的方法有岭回归和 Lasso 回归。这两种方法都属于正则化的特征选...
岭回归和LASSO回归
全栈O-Jay的博客
08-06 1218
岭回归和LASSO回归
岭回归(Ridge Regression)和Lasso回归
热门推荐
Above the cloud
09-11 2万+
1、岭回归（Ridge Regression） 标准线性回归（简单线性回归）中： 如果想用这个式子得到回归系数，就要保证(X^TX)是一个可逆矩阵。 下面的情景：如果特征的数据比样本点还要多，数据特征n,样本个数m，如果n>m,则计算(XTX)−1会出错。因为(X^TX)不是满秩矩阵（行数小于列数），所有不可逆。 为了解决这个问题，统计学家引入了岭回归的概念： λ为岭系数, I为单位矩阵（对角线上全为1，其他元素为0）。单位矩阵为满秩矩阵，乘以λ仍然为满秩矩阵。 岭回归的代价函数： 附： 正则化
97.笔记︱范数正则化L0、L1、L2-岭回归&Lasso回归（稀疏与特征工程） - 素质云笔记 Recorder... - C
08-03
在机器学习领域，正则化是一种重要的技术，用于防止模型过拟合，即在训练过程中控制模型的复杂度。本文主要讨论的是L0、L1和L2范数在正则化中的应用，以及它们如何影响模型的特性，特别是对于特征工程和稀疏性的贡献...
机器学习小白学习笔记---day3---线性模型（岭回归、lasso、线性模型【svm、logistic回归】）
godleisen的博客
02-05 2319
机器学习小白学习笔记之scikit-learn 最近刚把西瓜书啃完，一大堆理论让脑子真的是一团浆糊，说实话看的基本只有一个概念哈哈哈，效果不高，但是让我对与机器学习真的是整体有了一个大的了解，但是并没能将每个课后作业都完成，甚至很多公式推导也没实现，太难了，让我着手于实践，古人云实践出真知，又拿起了另一本书《Introduce to Mashine Learning with python》 昨天...
Bobo老师机器学习笔记第八课-方差、偏差、岭回归、LASSO回归？
夜深人静后的码农
12-04 3088
对误差分类 问题一、什么是偏差和方差？ 先看下面这幅图图： 方差： 都是围着数据中心的，方差越大则表示距离数据中心分布的越分散，越小说明越近越集中 偏差： 偏离数据中心， 偏差越大，说明整个数据距离中心越远，偏差越小，说明距离数据中心越近。 这两者的关系通常是矛盾的，降低偏差会提高方差，降低方差会提高偏差。所有一个好的模型就是对这点的一个平衡。  二、模型误差来自于哪些？ 模型误...
机器学习——逻辑回归，岭回归与LASSO，模型评价指标学习笔记
RRie1的博客
05-19 3140
逻辑回归 —— 用于解决分类问题 误差计算 ​ 原来计算预测值，线性计算结果如果小于零，预测值为0；如果原来计算预测值为1，预测值就为1。结果只有0和1两种取值，但是这样如果样本错误分类，误差为1，如果样本正确分类，误差为0。这种误差计算方式太为武断，且无法反映误差大小。如下： h(x)={0θTx<01θTx>0 h(x) = \begin{cases} 0 && \theta^Tx<0\\ 1 && \theta^Tx>0\\ \end{cas
岭回归和Lasso回归
Joker_sir5的博客
09-18 2万+
偏差和方差 机器学习算法针对特定数据所训练出来的模型并非是十全十美的，再加上数据本身的复杂性，误差不可避免。说到误差，就必须考虑其来源：模型误差 = 偏差（Bias）+ 方差（Variance）+ 数据本身的误差。其中数据本身的误差，可能由于记录过程中的一些不确定性因素等导致，这个我们无法避免，能做的只有不断优化模型参数来权衡偏差和方差，使得模型误差尽可能降到最低。 偏差：导致偏差的原因有多种，其...
岭回归与Lasso回归
weixin_49855757的博客
10-22 446
岭回归 解决了线性回归参数β可能出现的不合理现象，弥补其短板： 1.当线性回归数据的行数小于列数 2.数据中变量之间存在多重线性关系 实现的思路其实就是在线性回归的基础上加一个l2惩罚项（正则项） 将模型做凸优化 而且系数本质上就是求半椭圆体与圆柱体的焦点 Lasso回归 岭回归模型解决了线性回归模型中矩阵X’X不可逆的办法是添加l2正则的惩罚项，但缺陷在浴室中保留建模时所有变量，无法降低模型的复杂度。对于此，Lasso回归采用了l1正则的惩罚项 将模型做凸优化 模型系数求解本质上就是求半椭圆体与
岭回归与lasso回归
gaoqian_1237的博客
09-27 1658
a. 什么是岭回归和lasso回归？为什么要用岭回归和lasso回归？岭回归选参的一般原则是什么。 对OLS进行范数1正则化叫Lasso回归。 对OLS进行范数2正则化叫岭回归。   进行岭回归和Lasso回归的主要目的： 1.解决病态矩阵的过拟合和欠拟合问题。 2.消除多重共线性造成的行列式趋近于0，从而引起的大系数问题。 选参遵循原则如下： （1）在岭回归中设计矩阵X已经中心化...
岭回归（Ridge Regression）和Lasso回归
m0_67995579的博客
10-01 3771
岭回归（Ridge Regression） 岭回归也是一种用于回归的线性模型，因此它的预测公式与普通最小二乘法相同。但在岭 回归中，对系数（w）的选择不仅要在训练数据上得到好的预测结果，而且还要拟合附加约束。我们还希望系数尽量小。换句话说，w 的所有元素都应接近于0。直观上来看，这意味着每个特征对输出的影响应尽可能小（即斜率很小），同时仍给出很好的预测结果。 这种约束是所谓正则化（regularization）的一个例子。正则化是指对模型做显式约束，以避免过拟合。岭回归用到的这种被称为 L2 正则化。
岭回归和lasso回归（转）
dianwei0041的博客
07-28 772
回归和分类是机器学习算法所要解决的两个主要问题。分类大家都知道，模型的输出值是离散值，对应着相应的类别，通常的简单分类问题模型输出值是二值的，也就是二分类问题。但是回归就稍微复杂一些，回归模型的输出值是连续的，也就是说，回归模型更像是一个函数，该函数通过不同的输入，得到不同的输出。 那么，什么是线性回归，什么是非线性回归呢？ 线性回归与非线性回归 前面说...
独孤九剑第一式-岭回归和Lasso回归
m0_37623374的博客
05-22 1854
🍌文章适合于所有的相关人士进行学习🍌 🍋各位看官看完了之后不要立刻转身呀🍋 🍑期待三连关注小小博主加收藏🍑 🍉小小博主回关快 会给你意想不到的惊喜呀🍉 文章目录🐲前言🐲岭回归🐮岭回归的引出🐮岭回归的系数推导🐮岭回归代码部分🐲Lasso回归模型🐮Lasso代码部分 🐲前言 从今天开始我就要传授给大家独孤九剑秘籍了，今天是第一🗡。 我们今天讲解的是机器学习中的岭回归和Lasso回归模型，这两种相对来讲比较简单一点，也比较容易理解，希望大家跟住。 🐲岭回归 🐮岭回归的引出 我们上次学习了关于多重线性回归模.
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值