线性回归——最小二乘法的不同理解

原创 已于 2024-02-21 00:43:49 修改 · 899 阅读 · 19 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#线性回归 #最小二乘法 #机器学习

于 2024-02-20 01:01:42 首次发布
本文探讨了机器学习中最小二乘法的应用，从几何角度解释了为何寻找参数使误差平方和最小，以及如何从概率视角（频率学派）理解，结合高斯噪声和最大似然。文章还提及了贝叶斯学派的不同处理方式。

1. 写在前面

最近在上机器学习中的数学这门课。虽然前面的矩阵部分与我大学四年学习的线性代数部分有较大重合部分，但是这门课让我更好认识到向量和矩阵的实际应用情况，解决了很多为什么的问题，而不是为了刷题。在这里，我更了解到了最小二乘法在线性回归中的由来，与此同时结合我之前了解到的高斯噪声和最大似然，我发现了很有意思的一点。

2. 几何视角

假设有(x_1,y_1), (x_2,y_2), (x_3,y_3)......(x_n,y_n)， 如果我们要线性拟合这些点，那么我们用最小二乘法可以有argmin\sum_{i=1}^{n}(\beta_0+\beta_1x_1+...+\beta_nx_n-y_i)^2，我们需要找到一组参数使得该式达到最小。我们不妨把该式写成这样的形式：

(AX-y)^T(AX-y)

注意上式，A是输入矩阵而X是参数\beta_i组成的列向量，y是输出组成的列向量。因此我们需要找到X，使上式达到最小，求解如下：

最低0.47元/天 解锁文章
JCHEN161
关注
一元线性回归——最小二乘法详细介绍
m0_74383359的博客
06-12 1369
形如：y=k*x+b的图像。我们可以根据点到直线的距离计算出距离，使得距离最小。得到一个关于k与b的一元线性方程。为了使得距离最小，在高等数学里面一般就是求导、当倒数等于零时取最小。所以说我们要对这个一元线性方程对k,b分别进行求导。最后算出两个关于k和b的式子到这一步基本上我们回归方程基本构建完成。提示：以下是本篇文章正文内容，下面案例可供参考示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。# 第一个函L = len(x)# 获取当前数据的长度。
[机器学习]简单线性回归——最小二乘法
啦啦啦
01-28 770
【代码】[机器学习]简单线性回归——最小二乘法。
线性回归——最小二乘法代数详细计算过程
Murphy_study的博客
01-24 2078
通过找到一条直线去拟合数据点的分布趋势的过程，就是线性回归的过程。在上图呈现的这个过程中，通过找到一条直线去拟合数据点的分布趋势的过程，就是线性回归的过程。而线性回归中的「线性」代指线性关系，也就是图中所绘制的红色直线。所以，找到最适合的那一条红色直线，就成为了线性回归中需要解决的目标问题。
线性回归——最小二乘法
qq_50722863的博客
05-13 4018
线性回归：自变量和因变量之间是线性关系，例如：h= a0+a1x1+a2x2+…+anxn。线性回归预测的一般步骤：假设特征变量Xi满足线性关系，然后根据给定的训练数据训练出一个模型，最后通过此模型进行预测。线性回归的根本就是求解最小损失函数，常用的方法有：最小二乘法，梯度下降法和正则化。 ...
线性回归——最小二乘法矩阵求解
Murphy_study的博客
01-25 884
（56, 72, …, 94, 74以及92, 102, …, 105, 92是。
机器学习(1): 线性回归——最小二乘法 小结
TechArtisan6的博客
06-26 3969
目录 1 最小二乘法简介 2 最小二乘法历史 3 基本形式 4 一元线性回归 5 多元线性回归 参考资料 1 最小二乘法简介 最小二乘法（Least square method，又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于...
【机器学习】线性回归——最小二乘法（理论+图解+公式推导）
优快云 精品推荐
08-22 7450
如果需要完整代码可以关注下方公众号，后台回复“代码”即可获取，阿光期待着您的光临~ 文章目录一、概述二、最小二乘估计 2021人工智能领域新星创作者，带你从入门到精通，该博客每天更新，逐渐完善机器学习各个知识体系的文章，帮助大家更高效学习。 一、概述 在生活实际中经常遇到一些情况，比如根据公司内部一些人的工资待遇去预测一个将从事相同工作人的工资，我们需要根据已有数据来对未来的数据进行推测。 在高中时候我们学过最小二乘法就是求 a∗和b∗a^*和b^*a∗和b∗ 去拟合一条直线，来最大程度的是我们.
简单线性回归——最小二乘法的实现
m0_63717760的博客
05-29 423
noise=np.random.normal(0,2,(1,50)) # 生成一个形状为(1,50)的数组，包含来自正态分布的随机噪声。w=np.sum(y*(x-x_avg))/(np.sum(x*x)-x_avg*np.sum(x)) # 使用最小二乘法公式计算斜率。x=np.linspace(1,20,50) # 生成一个包含50个点的等差数列，从1到20。print(w_real,w) # 打印真实的斜率和估计的斜率。x_avg=np.mean(x) # 计算x的平均值。
线性回归——最小二乘法（公式推导和非调包实现）
尼克不可的博客
05-06 3185
接上一篇文章【线性回归——二维线性回归方程（证明和代码实现）】 前言： 博主前面一篇文章讲述了二维线性回归问题的求解原理和推导过程，以及使用python自己实现算法，但是那种方法只能适用于普通的二维平面问题,今天博主来讲一下线性回归问题中更为通用的方法,也是我们实际开发中会经常用到的一个数学模型,常用的解法就是最小二次乘法和梯度下降法.博主今天对最小二乘法进行推导并使用Python代码自定义实现,...
线性模型——最小二乘法，梯度下降，线性回归，logistic回归
谦卑
08-13 3513
线性模型——最小二乘法，梯度下，线性回归，logistic回归 （一）基本形式 线性模型： 给定d个属性描述的示例X = (x1;x2;……;xd)（X为列向量），xi是第i个属性上的取值。 线性模型(linear model)试图学得一个通过属性的线性组合进行预测的函数。 f(X)=w1x1+w2x2+…+wdxd+b f(X) = w_1x_1 + w_2x_2+…+w_dx_d+b f(X)=w1​x1​+w2​x2​+…+wd​xd​+b 向量形式： f(X)=WTX+b f(X)=W^
【机器学习】23-25 决策树 & 树集成
weixin_54010404的博客
12-02 1197
本文系统性地介绍了决策树模型及其相关算法。首先阐述了决策树的基本结构与学习过程，重点讨论了如何通过最大化信息增益选择最优划分特征，并详细解释了熵作为纯度衡量指标的计算方法。文章涵盖了分类树与回归树的构建逻辑，包括离散特征处理（独热编码）和连续特征阈值选择。 进一步，文章深入探讨了决策树集成方法，重点分析了随机森林算法通过放回抽样和特征随机选择来增强模型鲁棒性的机制。特别介绍了XGBoost算法的核心优势：自适应样本权重调整、内置正则化和高效实现。最后，文章对比了决策树集成与神经网络的应用场景。
0011机器学习特征工程
老欧学视觉的博客
12-03 733
本文系统介绍了机器学习特征工程的关键内容，包括特征工程在机器学习流程中的重要性、数据处理方法和降维技术。主要内容涵盖：1）特征工程的核心作用是通过数据预处理提升模型效果，包括异常值处理、数据平衡、文本向量化等；2）详细讲解了数据清洗、缺失值填充、标准化/归一化、One-Hot编码等基础处理方法；3）重点阐述了文本特征提取技术（词袋法、TF-IDF）和降维方法（特征选择、PCA、LDA）。文章强调特征工程需结合业务场景进行特征衍生和优化，占整个开发流程30%-50%的工作量，是机器学习项目成功的关键环节。
学习笔记二十三：支持向量机-间隔与支持向量
dengdaijc的专栏
12-02 740
本文介绍了支持向量机(SVM)的基本原理。SVM通过在样本空间中寻找最优划分超平面来实现分类，其核心思想是最大化分类间隔以提高泛化能力。关键概念包括：划分超平面的数学表示（由法向量和位移项定义）、支持向量（决定超平面位置的最近样本点）以及间隔（反映分类置信度）。SVM的基本型是一个凸二次规划问题，通过最小化法向量范数平方来最大化间隔，同时满足所有样本正确分类的约束条件。该方法具有理论严谨、模型稀疏、全局最优等优势，是经典的分类学习算法。
机器学习--损失函数
weixin_57225400的博客
12-04 381
损失函数（Loss Function）是机器学习中用于衡量模型预测值与真实值之间差异的函数，是优化算法的核心目标。通过最小化损失函数，模型逐步调整参数以提高预测准确性。通过组合现有函数或设计新公式满足特定需求。加权MSE：为不同样本分配不同权重。正则化损失：加入L1/L2惩罚项防止过拟合。
【机器学习三大范式对比总结】
最新发布
严文文 Chris
12-04 270
当初我学机器学习，一看到这些复杂的表格和术语就头疼。直到有一天，我意识到，这三种学习范式其实就像我们人类不同的学习方式，我才恍然大悟。现在，我希望以这段心路历程，带你用全新的视角理解它们。想象你被丢进一个完全陌生的市场，没有任何商品标签。你正在用什么范式面对你的知识、你的工作、你的人生困境呢？这个问题的答案，或许比任何算法选择都更有价值。所以，理解这三大范式，不仅仅是记住一张表格。它是在理解机器如何“学习”的同时，反过来。），你通过反复练习，学会从题目推导答案的。），自我完善，实现“举一反三”。
【模式识别与机器学习（14）】惰性学习kNN（聚类分析）【3】K-means算法中K值确定的五种方式
hiliang521的博客
12-02 702
【模式识别与机器学习（14）】K-means算法中K值确定教程
【机器学习】27 异常检测（密度估计）
weixin_54010404的博客
12-03 810
本文介绍了异常检测的基本概念和方法。主要内容包括：1) 异常检测基于密度估计，通过构建概率模型识别异常值；2) 使用高斯分布建模特征概率，介绍最大似然估计方法计算参数；3) 多特征异常检测算法及其实现流程；4) 评估方法，建议划分训练集、验证集和测试集；5) 比较异常检测与监督学习的适用场景；6) 特征选择策略，强调特征分布分析和错误分析的重要性。文章指出异常检测适用于异常类型未知或样本稀少的情况，而监督学习更适合已知异常类型且有充足标注数据的场景。
贝叶斯学习
weixin_61562383的博客
12-03 1015
贝叶斯学习的核心不是直接判断“它是A还是B”，而是计算“它是A的概率是多少，它是B的概率是多少”，然后选概率大的那个。Pci​∣x∝Px∣ci​Pci​Pci​xci​Px∣ci​ci​xPci​∣xxci​结论： 贝叶斯分类器的训练过程，本质上就是在统计数据，估计先验概率和似然概率。
多元线性回归和最小二乘法
01-09
### 多元线性回归与最小二乘法的关系及应用 #### 多元线性回归原理 多元线性回归是一种用于预测具有多个自变量的变量值的线性回归模型。该方法能够处理多维数据集中的复杂关系，并通过建立一个或多个独立变量\(X\)与因变量\(Y\)之间的线性联系来实现预测功能[^1]。 对于给定的数据点\((x_1, y), (x_2, y)...,(x_n,y)\)，其中每个\(x_i=(x_{i1},...,x_{ip})\)代表p个特征向量，而对应的\(y\)则是目标响应值，则可以通过构建如下的数学形式表示这种关联： \[ Y = \beta_0+\sum^{P}_{j=1}\beta_j X_j + e \] 这里,\(\beta_0,...,\beta_p\)为待估计系数,e 表示误差项。 #### 最小二乘法原理 为了找到最佳拟合直线，在实际操作过程中通常采用最小化残差平方和的方式来进行参数优化，即所谓的“最小二乘法”。具体来说就是寻找一组最优权重使得所有样本到这条直线上距离之和达到最小化: \[ min_\beta SSE=\min_\beta{\sum^n_{i=1}(y_i-\hat{y}_i)^2} \] 在这个公式里:\(SSE\)指的是总平方误差;\(n\)是观测数量；\(y_i\)对应真实标签；\(\hat{y}_i\)则指代由当前模型计算得出的结果[^3]。 当涉及到两个以上的输入特性时（比如三维空间内的坐标），上述过程同样适用——只需扩展成相应的高维度矩阵运算即可完成求解工作。 #### 应用场景 这两种技术广泛应用于各个领域内涉及定量分析的任务当中，例如经济学研究中的人均收入水平影响因素评估、医学统计里的疾病风险预测以及市场营销活动中顾客购买行为模式挖掘等方面都离不开它们的支持。 #### 区别与联系 尽管两者紧密相连，但仍存在一定差异： - **目的不同**：前者旨在描述并量化各属性间存在的内在规律；后者侧重于提供一种有效的手段去衡量这些关系的好坏程度。 - **侧重点各异**：多元线性回归更强调理论框架搭建及其解释能力；相反地，最小二乘法则聚焦于具体的算法设计和技术细节实施上[^2]。 然而值得注意的是，二者并非孤立存在而是相辅相成的整体部分——最小二乘法作为最常用的损失函数之一被用来指导多元线性回归建模过程中的参数调整方向，从而确保最终获得的理想化的解析表达式能最大程度贴近实际情况的需求。 ```python import numpy as np from sklearn.linear_model import LinearRegression # 创建模拟数据集 np.random.seed(0) X = 2 * np.random.rand(100, 1) y = 4 + 3 * X + np.random.randn(100, 1) # 构造并训练模型 lin_reg = LinearRegression() lin_reg.fit(X, y) print(f'Intercept: {lin_reg.intercept_[0]}') print('Coefficients:', lin_reg.coef_) ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值