正则化、岭回归与LASSO回归（套索回归）

最新推荐文章于 2025-03-27 20:12:14 发布
最新推荐文章于 2025-03-27 20:12:14 发布
阅读量2.4k 收藏 21
点赞数 7
分类专栏： 历程 机器学习算法 文章标签： 机器学习 算法 深度学习 正则化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_31267769/article/details/106610154
版权
本文详细介绍了正则化、L2正则化、L1正则化、岭回归和LASSO回归。L2正则化通过权重平方和防止过拟合，L1正则化可实现特征选择。岭回归通过添加L2正则项改进线性回归，LASSO回归则利用L1正则化剔除不重要变量。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

首先补充一些铺垫知识

无偏估计

百度百科：无偏估计是用样本统计量来估计总体参数时的一种无偏推断。估计量的数学期望等于被估计参数的真实值，则称此估计量为被估计参数的无偏估计，即具有无偏性，是一种用于评价估计量优良性的准则。

简单来说，就是对总体样本进行多次采样，求出每次采样的样本均值，根据中心极限定理，这些多次取样的样本均值应该是服从正态分布的，求出这个分布的期望，这个期望等于总体样本的期望，那么这个估计就具有无偏性，就是一种无偏估计，这恰恰是构建回归算法（可以看这篇）的假设函数的基本思想。首先确定数据集中target的分布，然后求出这个分布的期望，这个期望这个数据集的无偏估计，因此令这个分布的期望作为假设函数，以估计真实的函数。

L2正则化

L2正则化就是在原来的损失函数的基础上加上权重的平方和：

接下来解释为什么要这样做，正则化的目的是约束权重不能过多或过大，这样会使模型变的复杂，从而有可能导致过拟合。因此我们就在末尾加上了一

最低0.47元/天 解锁文章
【人工智能】机器学习：岭回归与LASSO回归(Ridge/LASSO Regression)
AI天才研究院
05-07 1万+
岭回归与LASSO回归是将正则化思想引入线性回归模型后得到的方法。 岭回归对模型的参数加入L2正则化，能够有效的防止模型过拟合，解决非满秩下求逆困难的问题。 LASSO回归全称为Least Absolute Shrinkage and Selection Operator (最小绝对收缩选择算子, 套索算法) ，对模型的参数加入L1正则化，能够稀疏矩阵，进行庞大特征数量下的特征选择。
R语言拟合回归模型（regression model）实战：构建lasso回归模型并获得最佳正则化系数、拟合LASSO回归模型、分析最终模型
statistics+insight+vista+power
07-11 127
R语言拟合回归模型（regression model）实战：构建lasso回归模型并获得最佳正则化系数、拟合LASSO回归模型、分析最终模型
Python机器学习|广义线性模型（4) | 套索回归
weixin_44965848的博客
02-17 1143
""" 套索回归（lasso） l1正则化的线性模型 L1正则化会导致在使用套索回归的时候，有一部分特征的系数会正好等于0，即有些特征会被彻底忽略掉 可以突出体现模型中最重要的那些特征 """ # 导入套索回归 from sklearn.datasets import load_diabetes from sklearn.linear_model import Lasso # 载入糖尿病数据集 from sklearn.model_selection import train_test_split impo
正则化与岭回归
now
03-26 330
1、正则化 2、岭回归 3.案例
机器学习算法—Lasso回归
最新发布
m0_66813240的博客
03-27 2022
Lasso通过引入L1正则化（即系数绝对值之和），能够将一些不重要的特征的系数压缩为零。这种稀疏性使得Lasso不仅是一个回归模型，还是一个特征选择工具。它可以帮助我们在高维数据中筛选出最重要的变量，从而简化模型并提高解释性。正则化的目的是防止过拟合。在普通最小二乘法中，如果特征之间存在多重共线性（即特征高度相关），或者特征数量远大于样本数量，模型可能会过度拟合训练数据，导致在测试数据上的表现不佳。Lasso通过对系数施加惩罚，限制了模型的复杂度，从而提高了泛化能力。
岭回归和套索回归
GitChat
03-20 576
多元线性回归中应该防止过拟合出现
正则化_正则化-岭回归
weixin_39893893的博客
12-23 307
我们前面提到Loss Function: 最优解 对于数据集 ，N个样本，P个特征在求解W时，一般情况下,应该是 ，但是在现实的工程上，往往出现数据量不够的情况，在这种情况下很容易出现过拟合。正常情况，过拟合的解决方案有以下几种：①加数据，②特征选择/特征提取 ③正则化 ④dropout 。这里主要讲正则化正则化框架：argmin[L(w)+ λp(w)] L(w)为loss functi...
L1正则化的线性模型——套索回归
执的博客
09-09 2584
1.套索回归的原理： 和岭回归一样，套索回归也会将系数限制在非常接近0的范围内，但是它限制的方式稍微有些不同，我们称之为L1正则化。与L2正则化不同的是，L1正则化会导致在使用套索回归的时候，有一部分特征的系数会正好等于0.也就是说，有一部分特征会彻底被模型忽略掉，这也可以看成是模型对特征进行自动选择的一种方式。把一部分系数变成0有助于让模型更容易理解，而且可以突出体现模型中最重要的那些特征。 2.套索回归实战： import numpy as np from sklearn.datasets import
基于正则化的回归：岭回归和套索回归
庐州月光的博客
01-27 879
欢迎关注”生信修炼手册”!在多元线性回归中，多个变量之间可能存在多重共线性，所谓多重，就是一个变量与多个变量之间都存在线性相关。首先来看下多重共线性对回归模型的影响，假设一下回归模型y...
正则线性模型之岭回归(Ridge Regression)、套索回归(Lasso Regression)、和弹性网络(Elastic Net)
Serendi_patty的博客
05-24 1886
正则线性模型 减少过度拟合的一个好办法就是对模型正则化（即约束它）：它拥有的自由度越低，就越不容易过度拟合数据。比如，将多项式模型正则化的简单方法就是降低多项式的阶数。 对线性模型来说，正则化通常通过约束模型的权重来实现。接下 来我们将会使用岭回归（Ridge Regression）、套索回归（Lasso Regression）及弹性网络（Elastic Net）这三种不同的实现方法对权重进行约束。 岭回归 岭回归（也叫作吉洪诺夫正则化）是线性回归的正则化版：在成 本函数中添加一个等于的正则项。这使得学习中
正则化+岭回归+Lasso回归
Forlogenの解忧杂货铺
08-11 884
详解机器学习中的“正则化”（Regularization） 在学习回归时，如果对于正则化的相关问题不清楚时，看看老师的这篇博客，肯定会受益匪浅的，强力推介！！！...
1.1.3. Lasso（套索回归）
matrix_studio的博客
11-11 8283
1.1.3. Lasso 一、简介 首先，Lasso同样是线性回归的一种变体。而文档中指出，它是一种能让参数ω\omegaω稀疏的模型（作用）。它是压缩感知领域的基础（地位），在特定情况下，它可以“恢复一组非零权重的精确集”（这句话来着别人的翻译，我暂时还不明白）。 二、损失函数特性 在Ridge Regression中，我们介绍了正则项（惩罚项）Lasso和Ridge模型上的差别也主要体现在损失函数中不同的正则项上。 在Ridge中，我们为了约束参数ω\omegaω，我们给损失函数添上了关于ω\omeg
六、回归——套索回归 (Lasso Regression)的基本应用
热门推荐
Nicole的博客
06-15 4万+
一、使用场合 与岭回归类似，套索 (Least Absolute Shrinkage and Selection Operator) 也会对回归系数的绝对值添加一个罚值。此外，它能降低偏差并提高线性回归模型的精度。看看下面的等式： 套索回归与岭回归有一点不同，它在惩罚部分使用的是绝对值，而不是平方值。这导致惩罚（即用以约束估计的绝对值之和）值使一些参数估计结果等于零。使用的惩罚值越大，估计...
套索回归详解 从零开始 从理论到实践
UK - UofL HW - SDE
01-21 7608
套索回归详解 从零开始 从理论到实践一、套索回归的理解二、sklearn的使用2.1、方法、参数与属性2.2、简单案例 一、套索回归的理解 二、sklearn的使用 2.1、方法、参数与属性 2.2、简单案例
线性回归模型之套索回归
源滚滚编程
05-16 383
本案例是基于之前的岭回归的案例的。# 将数据拆分20次用来对模型进行评分est,X,y,# 获取模型名称# 绘制模型评分# 加载数据# 绘制图形plt.show()
岭回归，套索回归
再学一夏
03-15 241
在回归问题中我们通过r2_score查看模型得分 岭回归 用L2 范数 套索回归用L1 范数 岭回归 from sklearn.datasets import load_boston from sklearn.linear_model import Ridge from sklearn.metrics import r2_score #切分数据集 随机划分测试数据和训练数据 from sklearn.model_selection import train_test_split #加载数据 .
解读正则化 LASSO回归 岭回归
Saropetry的博客
08-28 6096
在机器学习的学习过程中，我们会经常听到正则化这个词，在开始入门学习的时候还经常与标准化混淆。到底什么是正则化呢？本篇我们将由浅入深详细解读什么是正则化，以及LASSO回归和岭回归的介绍。 在正式开始之前，我们先了解几个相关基本概念。 ▍什么是过拟合？ 对于一组给定的数据，我们需要通过机器学习算法去拟合得到一个模型（对应图中曲线）。根据我们对拟合的控制和调整，这个模型可以有无数多种（一条直线，或各种形状的曲线等）。这么多种当中，哪一种是我们想要的最优结果呢？哪一种最好呢？ 我们评判模型好坏的标准是
ridge regression 脊回归 / 岭回归
billbliss的专栏
09-27 3801
岭回归，脊回归 (ridge regression, Tikhonov regularization) 是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的拟合要强于最小二乘法。 对于有些矩阵，矩阵中某个元素的一个很小的变动，会引起最后计
正则化的岭回归、套索回归
12-21
岭回归和套索回归都是线性回归的正则化方法，用于解决多重共线性问题。它们在成本函数中引入了正则项，以限制模型的复杂度。 1. 岭回归（Ridge Regression）： 岭回归使用L2正则化，其成本函数为： ``` Cost = RSS + α * Σ(β^2) ``` 其中，RSS是残差平方和，α是正则化参数，β是回归系数。岭回归通过增加正则项来惩罚回归系数的大小，从而减小模型的方差。岭回归可以缩小回归系数，但不会将其完全置零。 2. 套索回归（Lasso Regression）： 套索回归使用L1正则化，其成本函数为： ``` Cost = RSS + α * Σ|β| ``` 套索回归通过增加正则项来惩罚回归系数的绝对值之和，从而实现特征选择和稀疏性。套索回归可以将某些回归系数置零，从而实现特征的选择。 3. 弹性网络（Elastic Net）： 弹性网络是岭回归和套索回归的结合，其成本函数为： ``` Cost = RSS + α * (r * Σ|β| + (1-r) * Σ(β^2)) ``` 其中，r是混合比例参数，控制L1正则化和L2正则化的权重。当r=0时，弹性网络等同于岭回归；当r=1时，弹性网络等同于套索回归。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值