最小二乘法与岭回归的介绍与对比

最新推荐文章于 2025-07-04 08:15:00 发布
最新推荐文章于 2025-07-04 08:15:00 发布
阅读量3.1w 收藏 104
点赞数 22
CC 4.0 BY-SA版权
分类专栏： SLAM 文章标签： 最小二乘法 岭回归 线性回归 机器学习 LASSO
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Dang_boy/article/details/78504258
本文介绍了线性回归中的最小二乘法，包括其数学原理和解决线性不可逆的问题。接着，详细阐述了岭回归，它是通过添加正则项来改善最小二乘法在特征过多或存在多重共线性时的稳定性。岭回归的性质和选择原则也被讨论。最后提到了LASSO回归，其正则项不同，更倾向于产生稀疏解，适用于特征选择。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一 线性回归（最小二乘法）

假设我们有n个样本数据，每个数据有p个特征值，然后p个特征值是线性关系。

即对应的线性模型

写成矩阵的形式即是Y=XA

由于样本与模型不一定百分百符合，存在一些噪声，即误差，用B表示，B也是一个向量

即B=Y-XA

Y为样本值，XA为模型的计算值，即期望值

误差的平方的计算公式

Xi为行向量，A为列向量。

最小二乘法的目标就是取得最小的e对应的A，由于方差的计算是一个二次函数，即抛物线，对应存在一个最小值，即导数为0对应的A。所以对e求A的偏导数，再使其等于0，求解方程即可以获得A。

误差的平方e写成矩阵形式即为

对矩阵E取迹（迹就是矩阵对角线上所有元素的累加）且对迹求导后结果为一个矩阵。

即为 

展开为 

求导化简结果为

最低0.47元/天 解锁文章

200万优质内容无限畅学
线性回归、岭回归和Lasso回归
guohui_0907的博客
10-14 523
1 线性回归        假设有数据有： T={(x(1),y(1)),(x(2),y(2)),...,(x(m),y(m))}T=\{(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),...,(x^{(m)},y^{(m)})\}T={(x(1),y(1)),(x(2),y(2)),...,(x(m),...
机器学习--最小二乘法到岭回归（入门向）
一生白色的博客
03-01 996
对于一个需要进行线性回归的函数我们的目的是得到参数ω和b，对此我们使在这里用均方最小化的方式确定参数ω和b的值 对上式求偏导，可以得到令上面两个偏导都等于0，可以得到ω和b的闭合最优解其中，  ，表示x的均值那么，对于要得到的回归函数我们需要确定两个相对独立的参数ω和b，这样我们才能得到拟合的回归函数。 再将一元函数拓展到多元函数中去。对于...
【机器学习】9、最小二乘法和岭回归
呆呆的猫的博客
07-29 1万+
线性回归模型的基本假设满足时，用最小二乘法得到的回归系数估计量是无偏的且具有最小方差，即使在高度多重相关的情况下，最小二乘法的回归系数估计量依然是线性无偏的，且具有最小的方差，也就是说多重共线性并不影响最小二乘估计量的无偏性和最小方差性。，由最小二乘法求得的解释抛物面的最低点，由岭回归得到的是黄色的点，一般来说，拟合的误差值（偏差）越小，A的各个元素（权值）的方差越高，所以岭回归是找到一个方差不会太大，误差也不会太大的权衡的点，随着r增大，方差变大。是λ的函数，岭迹图的横坐标为λ，纵坐标为A(λ)。
R 语言入门
最新发布
candy的博客
07-04 1697
R 语言是一种专为统计分析和数据科学设计的编程语言，由新西兰奥克兰大学的 Ross Ihaka 和 Robert Gentleman 于 1993 年开发。它以其强大的统计计算能力、灵活的数据处理方式和丰富的可视化功能，成为数据科学家、统计学家和研究人员的首选工具之一。
机器学习基础（五）——线性回归/岭回归/lasso回归
weixin_43172869的博客
07-05 1915
线性回归的本质就是：y=wTx+by = w^Tx+by=wTx+b求解:wTw^TwT(wT,b)(w^T,b)(wT,b)是系数（coefficient），xxx是特征值，yyy是目标值（label）。目的是找到最小损失对应的W：通常有两种方法，一种是正规方程，一种是梯度下降。(1)正规方程：w=(XTX)−1XTyw = (X^TX)^{-1}X^Tyw=(XTX)−1XTy(2)梯度下降：α\alphaα为学习速率，需要手动指定，沿着函数下降的方向找到山谷的最低点，每一步更新www值。1、加州地区房
机器学习：线性回归、岭回归、Lasso回归
jiangjiane
08-26 2353
 转载自：https://blog.youkuaiyun.com/hzw19920329/article/details/77200475 线性回归作为一种回归分析技术，其分析的因变量属于连续型变量，如果因变量转变为离散型变量，将转换为分类问题。回归分析属于有监督学习问题，本博客将重点回顾标准线性回归知识点，并就线性回归中可能出现的问题进行简单探讨，引出线性回归的两个变种岭回归以及Lasso回归，最后通过...
【OLS与岭回归对比】：普通最小二乘法与岭回归的性能比较
理解普通最小二乘法和岭回归 普通最小二乘法（OLS）和岭回归都是常见的线性回归方法。在实际应用中，通过理解和掌握这两种方法的原理和区别，可以更好地选择合适的模型用于数据建模和预测。OLS着重于最小化残差...
对比分析最小二乘法及回归分析.docx
10-05
但回归分析不仅限于最小二乘法，还可以采用其他估计方法，如岭回归、套索回归等。同时，回归分析还可以处理非线性关系，通过转换自变量或构建多项式模型来达到目的。 总的来说，最小二乘法是解决特定问题的工具，即...
监督学习入门：线性回归与最小二乘法完全解读
weixin_69882801的博客
02-15 938
在机器学习领域，线性回归堪称最基础、最重要的算法之一。自1805年勒让德首次提出最小二乘法以来，这一方法始终是数据分析的核心工具。根据Google Scholar统计，过去5年关于线性回归的研究论文引用量超过120万次，在Kaggle竞赛中，超过78%的baseline模型使用线性回归作为起点。本文将深入剖析一元线性回归的数学原理，揭示最小二乘法的本质，并通过Python代码实现完整的房价预测案例。几何视角：在n维空间中寻找最佳拟合超平面，使得所有样本点到超平面的垂直距离平方和最小。的投影，使得残差向量。
线性模型--线性回归、岭（脊）回归、lasso回归
yyliunianyy的专栏
10-31 1056
1、线性回归     给定数据集 D={(x1,y1),(x2,y2),...,(xm,ym)}D=\{(x_{1}, y_{1}),(x_{2}, y_{2}),...,(x_{m}, y_{m})\}D={(x1​,y1​),(x2​,y2​),...,(xm​,ym​)}，其中xi=(xi1;xi2;...;xid),yi∈Rx_{i}=(x_{i1}...
机器学习之普通线性回归、岭回归与lasso回归比较
03-10 1万+
一、普通线性回归 1、原理 分类的目标变量是标称型数据，而回归将会对连续型的数据做出预测。 应当怎样从一大堆数据里求出回归方程呢？ 假定输人数据存放在矩阵X中，而回归系数存放在向量W中。那么对于给定的数据X1, 预测结果将会通过 Y=X*W 给出。现在的问题是，手里有一些X和对应的Y,怎样才能找到W呢？ 一个常用的方法就是找出使误差最小的W。这里的误差是指预测Y值和真实Y值之间的差值...
线性回归、岭回归、Lasso回归
dzysunshine的博客
11-02 404
线性回归、岭回归、Lasso回归 引自 她说巷尾的樱花开了 的博客
[机器学习-原理篇]学习之线性回归、岭回归、Lasso回归
Harry的博客
06-10 2082
线性回归、岭回归、Lasso回归前言一，线性回归——最小二乘二，Lasso回归三，岭回归四， Lasso回归和岭回归的同和异五， 为什么 lasso 更容易使部分权重变为 0 而 ridge 不行？参考资料 前言 如果对L1和L2正则化，最小二乘法不了解的，可以先看我写的下面两篇 正则化项L1和L2的总结 一元线性回归用最小二乘法的推导过程 线性回归很简单，用线性函数拟合数据，用 mean square error (mse) 计算损失（cost），然后用梯度下降法找到一组使 mse 最小的权重。 la
机器学习之线性回归、岭回归、Lasso回归
zhw864680355的博客
10-17 1065
原文链接： 机器学习总结(一)：线性回归、岭回归、Lasso回归1、线性回归 Scikit-Learn学习笔记——线性回归（基函数回归、岭回归正则化、Lasso正则化） 【机器学习】一文读懂正则化与LASSO回归，Ridge回归 1.1、线性回归一般形式 1.2、线性回归可能遇到的问题 求解损失函数的最小值有两种方法：梯度下降法以及正规方程。 特征缩放：即对特征数据进行归一...
机器学习基础——线性回归、过拟合和欠拟合、岭回归和Lasso回归
qq_47250064的博客
08-17 2626
介绍了非监督学习里面的回归算法的定义，并用波士顿房价的例子进行线性回归，将两种解法（梯度下降法和正规方程法）进行对比，运用均方误差和进行模型评估。还介绍了过拟合和欠拟合以及他们的解决办法（岭回归和Lasso回归）。.........
线性回归复习：普通线性回归，knn线性回归，岭回归，lasso回归
qq_33489955的博客
04-08 2457
目录线性回归引入knn线性回归(糖尿病数据集)找到一个更好的模型（knn调参，评价（MAE,MSE））岭回归岭回归的基本使用糖尿病的回归分析lasso回归 线性回归引入 # 线性回归导入 from sklearn.linear_model import LinearRegression from sklearn.neighbors import KNeighborsRegressor import numpy as np import pandas as pd from pandas import Se
机器学习总结(一)：线性回归、岭回归、Lasso回归
热门推荐
扇扇来驰的博客
08-15 14万+
线性回归作为一种回归分析技术，其分析的因变量属于连续型变量，如果因变量转变为离散型变量，将转换为分类问题。回归分析属于有监督学习问题，本博客将重点回顾标准线性回归知识点，并就线性回归中可能出现的问题进行简单探讨，引出线性回归的两个变种岭回归以及Lasso回归，最后通过sklearn库模拟整个回归过程。 目录结构 线性回归的一般形式 线性回归中可能遇到的问题 过拟合问题及其解决方法 线性回归代码实现
线性模型优化：岭回归和Lasso回归
taozibaby的博客
10-30 1198
岭回归和Lasso回归模型，解决线性模型过拟合问题
【sklearn】线性回归、最小二乘法、岭回归、Lasso回归
shinuone的博客
11-13 8596
scikit-learn（sklearn）是基于Python的机器学习库，建立在NumPy、SciPy等科学计算库之上，提供简洁的API接口，适合机器学习初学者。sklearn包含六大任务模块（分类、回归、聚类、降维、模型选择、预处理）和数据集模块（datasets）。
岭回归β最优值和普通最小二乘法的区别
06-19
### 岭回归与普通最小二乘法的区别 #### 1. 普通最小二乘法的原理 普通最小二乘法（Ordinary Least Squares, OLS）的目标是最小化残差平方和，即： \[ \min_{\beta} \|y - X\beta\|_2^2 \] 其中 \( y \) 是目标值向量，\( X \) 是特征矩阵，\( \beta \) 是待估计的参数向量。OLS 的解为： \[ \beta_{OLS} = (X^TX)^{-1}X^Ty \] 当特征矩阵 \( X \) 存在多重共线性时，\( X^TX \) 可能接近奇异矩阵，导致 \( \beta_{OLS} \) 的估计不稳定[^2]。 #### 2. 岭回归的原理 岭回归通过在目标函数中加入 L2 正则化项来解决多重共线性问题。其目标函数为： \[ \min_{\beta} \|y - X\beta\|_2^2 + \lambda \|\beta\|_2^2 \] 其中 \( \lambda > 0 \) 是正则化参数。岭回归的闭式解为： \[ \beta_{Ridge} = (X^TX + \lambda I)^{-1}X^Ty \] 通过引入 \( \lambda I \)，即使 \( X^TX \) 接近奇异矩阵，\( X^TX + \lambda I \) 仍然是可逆的，从而提高了估计的稳定性[^3]。 #### 3. 岭回归与普通最小二乘法的对比 - **稳定性** 普通最小二乘法对数据中的噪声非常敏感，尤其是在存在多重共线性的情况下。相比之下，岭回归通过牺牲部分无偏性，获得了更稳定的估计结果[^2]。 - **偏差与方差权衡** 普通最小二乘法的估计是无偏的，但当特征之间存在高度相关性时，其方差可能非常大。岭回归通过引入偏差（bias），降低了估计的方差，从而在均方误差（MSE）意义上表现更好[^1]。 - **适用场景** 当特征数量较多且存在多重共线性时，普通最小二乘法的表现较差。而岭回归在这种情况下能够提供更为可靠的估计结果。 - **计算复杂度** 普通最小二乘法的计算复杂度主要取决于矩阵求逆操作 \( (X^TX)^{-1} \)。对于高维数据，这一操作可能会变得非常耗时。岭回归由于引入了 \( \lambda I \)，可以使用数值稳定的方法（如奇异值分解）进行优化[^4]。 #### 4. 数学示例 以下是一个简单的 Python 示例，展示如何使用 Ridge 回归和 OLS 来拟合数据： ```python import numpy as np from sklearn.linear_model import Ridge, LinearRegression # 数据生成 np.random.seed(42) X = np.random.rand(100, 5) true_beta = np.array([1, 0.5, 0, 0, 0]) y = X @ true_beta + 0.1 * np.random.randn(100) # OLS 回归 ols = LinearRegression() ols.fit(X, y) print("OLS Beta:", ols.coef_) # Ridge 回归 ridge = Ridge(alpha=1.0) ridge.fit(X, y) print("Ridge Beta:", ridge.coef_) ``` #### 5. 总结 普通最小二乘法和岭回归的主要区别在于是否引入了正则化项。普通最小二乘法追求无偏估计，但在存在多重共线性时可能导致不稳定的结果；岭回归通过引入偏差，降低了估计的方差，从而在实际应用中表现出更强的鲁棒性[^1]。 --- ###
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值