最小二乘法的本质是什么？

最新推荐文章于 2025-05-19 09:20:49 发布
转载 最新推荐文章于 2025-05-19 09:20:49 发布 · 871 阅读 · 0

该博客转自知乎，探讨最小二乘法的本质，虽未给出具体内容，但聚焦于这一信息技术领域的重要算法概念，引发对其原理、应用等方面的思考。

转自知乎：https://www.zhihu.com/question/37031188



精选资源
pls_光谱_近红外_偏最小二乘法建模方法_
09-28
在近红外光谱分析领域，偏最小二乘法（Partial Least Squares，简称PLS）是一种广泛采用的多变量统计分析技术。PLS方法能够高效处理复杂的光谱数据，并建立光谱特征与化学或物理性质之间的数学模型，从而实现对未知...
最小二乘法的基本原理介绍.doc
09-05
最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表
通俗易懂理解最小二乘法的本质
肥嘟嘟的左卫门
12-10 2611
1 日用而不知 来看一个生活中的例子。比如说，有五把尺子： 用它们来分别测量一线段的长度，得到的数值分别为（颜色指不同的尺子）： 之所以出现不同的值可能因为： 不同厂家的尺子的生产精度不同 尺子材质不同，热胀冷缩不一样 测量的时候心情起伏不定 … 总之就是有误差，这种情况下，一般取平均值来作为线段的长度： 日常中就是这么使用的。可是作为很事’er的数学爱好者，自然要想下： 这样做有道理吗？ 用调和平均数行不行？ 用中位数行不行？ 用几何平均数行不行？ 2 最小二乘法 换一种思路来思考刚才的问题。 首先
最小二乘法原理及极值点判定
mwn_3517的专栏
12-03 2728
最小二乘法的本质原理        本文主要以最简单的二元线性函数为基础，阐述最小二乘法的原理，事实上，最小二乘法可以更广泛地应用于非线性方程中，但本文以介绍为主，希望能以最简单的形式，使读者能够掌握最小二乘法的意义。 在物理实验数据统计时，我们会记录一些数据，记做数据x和数据y。但是，在记录数据后，我们依然不知道x和y 的具体关系。例如，测算男人手掌面积和身高的关系，我们会得到
简述如何解决过拟合和最小二乘法的本质
zhangyunpeng0922的博客
01-13 3834
简述如何解决过拟合和最小二乘法的本质1. 过拟合2. 如何防止过拟合2.1 从模型&数据角度2.1.1 数据增强&噪声数据2.1.2 简化模型2.2 从训练过程角度2.2.1 提前终止2.2.2 从正则化角度2.3 应对深度学习模型3. 最小二乘法本质3.1 概念 1. 过拟合 过拟合是指模型为了得到一致假设而使假设变得过于严格，也就是说模型对训练数据的学习有点过头。模型并没有学习...
最小二乘法简介
Java/Python大数据随笔
12-21 1672
勒让德在原文中提到：使误差平方和达到最小，在各方程的误差之间建立了一种平衡，从而防止了某一极端误差取得支配地位，而这有助于揭示系统的更接近真实的状态。可以是所有观测点到直线的距离和最小，也可以是所有观测点到直线预测点（真实值-理论值）的绝对值和最小，还可以是所有观测点到直线预测点（真实值-理论值）的平方和最小。类似的，如果模型有n个参数，我们只需要n组观测值即可求解。因此我们可以这样说，最小二乘法其实就是误差满足正态分布的极大似然估计，最小化平方误差本质上等同于在误差服从高斯分布的假设下的最大似然估计。
11.4 最小二乘法推导与求解
Leroi64的博客
05-19 1077
用数学公式抓住变量间的“平均规律”，把散乱的数据点变成一条最贴合的直线。就像用天平称重——通过调整砝码（参数 β 0 , β 1 β 0 ​ ,β 1 ​ ）让两边（预测误差）达到平衡。
pytorch_lesson5 基本优化思想与最小二乘法— 建模思路+最小二乘法(最小二乘法代数表示方法+手动实现最小二乘法+lstsq最小二乘法)
weixin_51589123的博客
05-09 2312
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、简单线性回归的机器学习建模思路1、回顾简单线性回归建模问题2.转化为优化问题3.最优化问题的求解方法图形展示目标函数函数的凹凸性凸函数的最小值SSE最小值4.机器学习建模一般流程Step 1：提出基本模型Step 2：确定损失函数和目标函数Step 3：根据目标函数特性，选择优化方法，求解目标函数二、第一个优化算法：最小二乘法1.最小二乘法的代数表示方法2.手动代码验证最小二乘法3.lstsq实现最小二乘法4.反向验证导数.
最小二乘法解线性回归
2201_75381449的博客
01-02 2545
基于均方误差最小化来进行模型求解的方法称为“最小二乘法(least square method)它的主要思想就是选择未知参数，(a5，b5)(a3，b3)(a1，b1)(a4，b4)(a2，b2)使得理论值与观测值之差的平方和达到最小。本质和目标相同:两种方法都是经典的学习算法，在给定已知数据的前提下利用求导算出一个模型(函数)，使得损失函数最小，然后对给定的新数据进行估算预测。求解w和b，使得 E(w)=(y - zi-)最小化的过程，称为线性回归模型的“最小二乘参数估计。梯度下降法和最小二乘法。
最小二乘法原理理解
Hello-Adam
05-04 13万+
概念:最小二乘法是一种熟悉而优化的方法。主要是通过最小化误差的平方以及最合适数据的匹配函数。 作用：（1）利用最小二乘法可以得到位置数据（这些数据与实际数据之间误差平方和最小）（2）也可以用来曲线拟合 实例讲解：有一组数据（1，6），（3，5），（5，7），（6，12），要找出一条与这几个点最为匹配的直线 ： y = A + Bx 有如下方程： 6 = A + B 5 = A + 3B ...
从零认识最小二乘法
努力努力努力
10-09 1367
一般的理解，最小二乘法是以误差的“平方和”最小为目标去计算最优近似解的方法。但要理解其本质，我们还需要从最大似然估计说起。 一、最大似然估计(Maximize Likelihood Estimation, MLE) 首先我们来认识一下似然函数，似然函数是统计模型中关于参数的函数，被记为，是给定联合样本，求解关于参数值的函数。其表达式如下： 这里等式右边是一个概率密度函数，但似然函数和概率密度函数不同之处在于似然函数是在给定联合样本的取值，求解参数值为 的概率，是关于 的函数。所以我们说它们的.
最小二乘法
一只大憨憨的博客
10-30 1237
来源：
matlab最小二乘法_最小二乘法简介
weixin_39832727的博客
12-03 2267
最小二乘法简介最小二乘法（Least Squares）是回归分析中的一种标准方法，它是用来近似超定系统（Overdetermined System）答案的一种方法。超定系统是指数学中的一种概念，一组包含未知数的方程组中，如果方程的数量大于未知数的数量，那么这个系统就是一个超定系统（超定方程组）。超定系统（超定方程组）一般是无解的，只能求近似解。而最小二乘法就是求超定方程组近似解的一种方法。举个通俗...
到底什么是最小二乘法
yuxiaoxi21的博客
05-09 2万+
http://blog.sina.com.cn/s/blog_7445c2940102wjz8.html#commentComment 最小二乘法，又是一个即熟悉又陌生的名字。对于学工科的我，简直就是听着最小二乘长大的(汗。。。)。但是，之前碰到要用最小二乘法的时候，我采取的办法都是拿来主义（抄。。。），并没有系统的了解一下什么是最小二乘法。包括最小二乘这个叫法，也从来都不理解（一直以为是一个外
最小二乘法的简单理解【几何角度&优化角度】
Europe233的博客
11-27 1398
【几何上的理解】 我们用最小二乘法，一般是在求解线性方程组时使用。往往这时的独立方程个数会多于自由变量的个数，导致没有解存在。 考察这样一个方程组：Ax=b，其中A是m行n列的矩阵，x和b均为n维向量。该方程组有解，充分必要于b可以由A的列向量组线性表出，对应的系数就是解向量x的各个分量。在该方程组无解时，b就不能用A的列向量组线性表出，也就是说b不在A的列空间里。 我们的目的就...
最小二乘法的原理讲解
Panpan Wei的博客
05-30 2万+
在看RVFL神经网络的时候，在权值更新求解时，从隐含层到输出层的权重，是根据最小二乘法的原理更新求解的，那么最小二乘法是什么呢，今天来具体讲解一下。 最小二乘法： 假设有一系列数据值，D = {(x1,y2),(x2,y2),.....................,(xn,yn)},需要去找到一个函数f(x)=ax+b,使得f(x)的输出尽可能和y相近，那么此时最小二乘法，原理的关键就是根...
如何理解最小二乘法？
热门推荐
马同学
07-20 25万+
最小平方法是十九世纪统计学的主题曲。 从许多方面来看, 它之于统计学就相当于十八世纪的微积分之于数学。 ----乔治·斯蒂格勒的《The History of Statistics》 1 日用而不知 来看一个生活中的例子。比如说，有五把尺子： 用它们来分别测量一线段的长度，得到的数值分别为（颜色指不同的尺子）： 之所以出现不同的值可能因为： 不同厂家的尺子的生产精度不同 ...
有用到最小二乘法吗？
最新发布
10-19
`curve_fit`使用最小二乘法进行非线性最小二乘拟合，但在这里它拟合的是线性函数（`linear_func`，假设是y = a*x + b），所以它本质上是在应用最小二乘法来估计参数a和b。 因此，回答是：是的，使用了最小二乘法。 ...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值