理解数学概念——最小平方法(最小二乘法)(Least squares)

最小二乘法(Least Squares)简介 阅读详情

1.  术语说明(Least squares)

         首先,这个术语“least squares”翻译为“最小二乘”容易让人引起混淆,如果直接翻译为“平方”不是通俗易懂吗?所以,一些数学术语在英译汉时有些翻译是不恰当的,有故弄玄虚之嫌;在没有标明其对应的英文的情况下,容易把初学者搞糊涂,会疑惑这个“二乘”是啥意思,为啥叫“二乘”;在标明英文的情况下,也会疑惑这个“二乘”和“平方”到底是啥关系,是不是这个“square”除了平方,还有别的含义?

         我查了一下,这种译法也是一个舶来品。日语中的“乘”有“次幂”的意思,也就是说把幂也当成乘看待,即相同的数相乘称为“次幂”。“二乘”就是“二次幂”,即平方。而“least square method”最初由日本人翻译成“最小二乘法”,而由某位中国人直接搬过来用。

         下文中使用“最小平方法”这个译名。

2.  最小平方法说明

最小平方法是一种用于回归分析的统计技术,用于在图表上求得数据集的最佳趋势曲线。它本质上是找到能够代表数据整体方向的最佳拟合线的一种方法。每一个数据点都代表自变量和因变量之间的关系。

Legendre于1805年发表了对最小平方法的首次清晰简洁的阐述。该方法描述为一种用代数方法将线性方程拟合到数据的程序,Legendre通过分析与Laplace相同的地球形状数据来演示这一新方法。Legendre发表该方法后的十年内,最小平方法就被法国、意大利和普鲁士采纳为天文学和大地测量学的标准工具,这标志着一项科学技术被迅速接受。

1809年,Carl Friedrich Gauss发表了他计算天体轨道的方法。在那篇论文中,他声称自己早在1795年就掌握了最小平方法。这自然引发了他与Legendre之间的优先权之争。然而,值得称道的是,Gauss超越了Legendre,成功地将最小平方法与概率论原理以及正态分布联系起来。他完成了Laplace的计划,即根据有限个未知参数,确定观测概率密度的数学形式,并定义一种能够最小化估计误差的估计方法。Gauss通过改变概率密度和估计方法,证明了算术平均值确实是位置参数的最佳估计值。然后,他反过来思考,为了得到算术平均值作为位置参数的估计值,概率密度应该具有什么样的形式,以及应该使用什么样的估计方法。正是在这种尝试中,他发明了正态分布(normal distribution)。

Gauss方法的强大之处最早体现在它被用于预测新发现的小行星谷神星的未来位置。1801年1月1日,意大利天文学家Giuseppe Piazzi发现了谷神星,并追踪了它40天的运行轨迹,直到它消失在太阳的耀眼光芒中。基于这些数据,天文学家希望在谷神星从太阳背后出现后确定它的位置,而无需求解开普勒复杂的非线性行星运动方程。最终,只有24岁的Gauss运用最小平方法进行的预测,才成功地帮助匈牙利天文学家Hungarian astronomer Franz Xaver von Zach重新定位了谷神星。

1810年,Laplace在阅读了Gauss的著作后,证明了中心极限定理,并利用该定理为最小平方法和正态分布提供了大样本的合理性证明。1822年,Gauss指出,在误差均值为零、不相关、服从正态分布且方差相等的线性模型中,回归分析的最小平方法是最优的,因为最小平方估计量是系数的最佳线性无偏估计量。这一结果的扩展版本称为Gauss-Markov定理。

最小平方分析的思想也是美国人Robert Adrain于 1808 年独立提出的。在接下来的两个世纪里,误差理论和统计学领域的学者们找到了许多不同的方法来实施最小平方法。

最小二乘估计 Least Squares estimation 梳理经典最小二乘算法,及加权最小二乘和总体最小二乘,重点关注不同算法间的逻辑联系 阅读详情

相关推荐

梯度下降-最小二乘-scipy使用

目录1 概念2 区别3 scipy.optimize的使用 1 概念 最小二乘法:最小二乘法(又称最小平方法,Least squares)是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。 ...

qq_41103204的博客 2389

最小二乘法(least squares)介绍

最小二乘法是用来做函数拟合或者求函数极值的方法。在机器学习,尤其是回归模型中,经常可以看到最小二乘法的身影,这里就对我对最小二乘法的认知做一个小结。 1.最小二乘法的原理与要解决的问题 最小二乘法是由勒让德在19世纪发现的(也有争议为高斯发明),形式如下式: 观测值就是我们的多组样本,理论值就是我们的假设拟合函数。目标函数也就是在机器学习中常说的损失函数,我们的目标是得到使...

dianmeizi1612的博客 5029

传感数据分析——最小二乘法线性拟合(Least Squares)

相关性分析是对传感数据分析的定性分析,即明确两两传感数据是否存在线性关系的定性。对于多传感数据分析而言,明确了两两传感数据之间的强相关性之后,需要定量化地表述两者之间的线性关系,即采用线性建模的方式。本文正文内容以上就是本节对传感数据线性回归分析的内容,本文简单介绍了传感数据一维线性回归分析中最小二乘法的Python实现(改为自己的数据集即可),对最小二乘法的具体使用,可见传感数据分析-最小二乘法线性拟合(Least Squares)。

weixin_39753819的博客 2993

最小二乘法least-squares

又称最小平方法,一种优化方法,由高斯,勒让德独立提出,但高斯先发现,勒让德先发表 用途:给一组数据找一个最佳匹配的函数,使得拟合性最好;根据拟合函数求未知数据。 思想:最小化误差的平方和,主要是在最小化超定方程组(方程数比未知数多)的残差(观测值与模型提供的拟合值之间的差距)平方和。 ...

wulimmya的博客 4611

STM32CubeMX的正交编码器encoder

由于最近干活遇到需要获取正交编码的功能,所以返回来研究一下STM32CubeMX的编码器功能,之前也更新过STM32的定时器功能,但是因为之前搞平衡车的正交编码器没有搞清楚原理,就直接用了脉冲输入功能草草了事,现在也算是为之前的年轻买单了,不过看到现有的Encoder说明都比较简单,所以就当是为开发者做贡献了,我研究清楚之后来一篇博客。

ASWaterbenben的博客 1万+

Qi标准无线充学习笔记

负载调制主要通过接收端向后散射调制计数使得功率信号改变,两者通过线圈的电压和电流的变化量来传输信号。下面是要求稳定电流的变化量不得超出8ma,判断稳定的时间至少要在150us稳定电压的变化量不得超出110mv,判断稳定的时间至少要在150us高低电流变化量至少需要15mA,判断稳定的时间至少要在100us,主线圈电流采样的时间是在半桥转换的1/4周期刻测量的高低电压变化量至少需要200mV,判断稳定的时间至少要在100us。

m0_73991989的博客 1012

最小二乘法(Least Squares)

最小二乘法(Least Squares)   实际问题中常出现Ax=bAx=bAx=b不相容(无解)的情况,这时候就希望找到近似解xxx,使得AxAxAx尽量接近bbb。   定义:如果m×nm\times nm×n的矩阵AAA和向量bbb属于RmR^mRm,则Ax=bAx=bAx=b的最小二乘解(Least Squares Solutions)是RnR^nRn中的x^\hat{x}x^,使得∣∣b−Ax^∣∣≤∣∣b−Ax∣∣||b-A\hat{x}||\le ||b-Ax||∣∣b−Ax^∣∣≤∣∣b−

Zijie123pea的博客 2535

YOLOv9改进策略【损失函数篇】| Slide Loss,解决简单样本和困难样本之间的不平衡问题

本文记录的是改进YOLOv9的损失函数,将其替换成Slide Loss,并详细说明了优化原因,注意事项等。Slide Loss函数可以有效地解决样本不平衡问题,为困难样本赋予更高的权重,使模型在训练过程中更加关注困难样本。若是在自己的数据集中发现容易样本的数量非常大,而困难样本相对稀疏,可尝试使用Slide Loss来提高模型在处理复杂样本时的性能。

Limiiiing的博客 2616

最小二乘回归

最小二乘法(Least squares又称最小平方法)是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。 ---来自百度百科 “最小二乘法”的核心就是保证所有数据偏差的平方和最小。  

于书盼的博客 1万+

具身智能 | 从具身智能出发谈多传感器融合技术

多传感器融合感知是具身智能系统突破“感知—认知—行动”闭环的核心使能技术。本文从具身智能的视角出发,对多传感器融合技术进行系统综述。首先阐述了具身智能对多传感器融合提出的独特需求,包括异构感知集成、跨模态语义对齐和实时闭环决策。其次,构建了多层级融合技术分类框架,从数据层融合、特征层融合、决策层融合、时序融合到多模态大语言模型(MLLM)融合,逐层梳理主流方法与演进脉络。在此基础上,分析了面向具身智能的通用融合架构设计,涵盖了感知—推理—执行三层架构及其关键组件。

尘世冰封的专栏 316

车载网络测试实操源码_使用CAPL解析VBF文件

VBF(Versatile Binary Format)文件是一种二进制文件格式,被沃尔沃、福特、马自达、吉利等汽车制造商广泛采用。这种格式无法使用我们常规的烧录器进行刷写,通常需要进行解析转化。如果各位需要自己编写软件或脚本来刷写VBF文件,或者需要对刷写功能进行测试时,那么本篇文章就会对你非常有用。今天我们就来讲一下如何使用CAPL脚本对VBF文件进行数据解析。VBF文件包含三部分:VBF版本段、文件头段、数据段。前面的版本段和文件头段是ASCII码,包含版本、地址、校验码等信息

文章主要涉及嵌入式软件开发、测试、项目管理等,欢迎交流,共同进步。 3006

计算机视觉入门-最小二乘法、随机取样法、鲁棒估计、霍夫变换

内容涉及最小二乘法、全最小二乘法、最小二乘以极大似然估计来表示、随机取样法、鲁棒估计、霍夫变换、圆的霍夫变换

MMMMMMNONG的博客 2936

SAP MD81创建客户独立需求简介

正常我们用的最多的计划独立需求都是使用的是MD61 ,今天我们说下SAP的另外的一个标准功能客户独立需求MD81。虽然SAP给这个TCODE的描述是客户独立需求,但是实际是没有地方去关联对应的客户信息的。可以看到根据客户需求产生了对应的计划订单,我们创建的时候选择的KSV是按库存生产的,所以转换的时候生产订单也按单生产的。上面填写的这些字段的信息是不是和我们销售订单里面的字段的信息很相似。1)填写交货日期,可以选择按月 ,按日,按周等类型选择对应的日期。保存后会显示对应的客户独立需求的号码,如下图。

我小时候很黑的博客 2910

最小二乘法(least squares)

都忘了,再回顾一下: 参考知乎 https://www.zhihu.com/question/20447622 该问题下面的部分回答:建议有时间的把问题下面的所有答案都过一遍,这样可以通过不同的切入点来更好的理解。最小二乘法,也叫最小平方法,在古汉语中“平方”称为“二乘”,“最小”指的是参数的估计值要保证各个观测点与估计点的距离的平方和达到最小。(记得赟哥解释过,这个方法起源于日本,就直接拿过来用

zjm750617105的专栏 1万+

哨兵1号回波数据(L0级)包格式解析与成像参数提取

提取哨兵1号数据包的辅助数据、回波数据、定标数据。matlab代码在文末

3134

YOLO26科研优化:多损失函数(EIoU、SIoU等)融合,让边界框回归精度再上台阶

将原有损失函数替换为我们编写的MultiLoss。例如,在bbox_loss。

LXY_LOVE36的博客 173

线性回归(Linear Regression)和最小二乘法(ordinary least squares)

下面是对Andrew Ng的CS229机器学习课程讲义note1做的一部分笔记,按照自己的理解,对note1进行部分翻译,英文水平和知识水平不够,很多认识都不够深刻或者正确,请大家不吝赐教! 一、基本知识   作为“input”variables(在这个例子中是living area),也叫做input features(输入特征),作为“output”或者target variables,我...

weixin_30765577的博客 1744

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

最小二乘法简述

今天学习分形理论的分形维数计算过程,其中最后一步是利用最小二乘法来估计出分形维数。看到后,半天没反应过来,最小二乘?是什么东西。只能上wiki去找答案了: The method of least squares is a standard approach to the approximate solution of overdetermined systems, i.e., sets of equations in which there are more equations than unknowns.

LinJM-机器视觉 3180

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

【sklearn】线性回归、最小二乘法、岭回归、Lasso回归

scikit-learn(sklearn)是基于Python的机器学习库,建立在NumPy、SciPy等科学计算库之上,提供简洁的API接口,适合机器学习初学者。sklearn包含六大任务模块(分类、回归、聚类、降维、模型选择、预处理)和数据集模块(datasets)。

📷 图像处理践行者 | 传统算法 · 深度学习 · 多模态 | 分享实战经验与技术洞见,探索从像素到智能的无限可能。 9043

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

线性回归之最小二乘法(Least Squares)推导

假设 nnn 维空间变量点为 x⃗ =(x1,x2,⋯,xn)Tx→=(x1,x2,⋯,xn)T\vec{x}= (x_1, x_2, \cdots, x_n)^T , 并假设有 mmm 个这样的样本点 记为 x⃗&am

New life 1万+

关于最小二乘法

摘要: 最小二乘法通过最小化残差平方和求解过定方程组的最优解,适用于带噪观测数据。其核心思想包括:几何上将观测向量正交投影到系数矩阵的列空间;代数上通过正规方程、QR分解或SVD求解;统计上在高斯噪声假设下等价于最大似然估计。扩展方法涵盖加权最小二乘(处理异方差)、岭回归(正则化)、非线性最小二乘(高斯-牛顿/Levenberg-Marquardt算法)及鲁棒回归(抗离群点)。实际应用中需注意数值稳定性(避免直接求逆)、特征缩放和残差分析。该方法广泛应用于直线/多项式拟合、相机标定和视觉几何等问题,是数据拟

qq_45670407的博客 1070

最小二乘法与高斯过程:深入探讨

1.背景介绍 最小二乘法(Least Squares)和高斯过程(Gaussian Processes)是两种非常重要的方法,它们在机器学习、数据科学和数学建模等领域中具有广泛的应用。在本文中,我们将深入探讨这两种方法的核心概念、算法原理以及实际应用。 最小二乘法是一种常用的拟合方法,它通过最小化误差平方和来估计未知参数。高斯过程是一种概率模型,它将函数空间中的函数看作随机变量,从而可以为任意...

AI天才研究院 1871

通俗易懂学最小二乘法(least-squares)

最小二乘法的本质是求解多个测量值的最小误差。利用的方法是求导的方法。省去了绝对值,可以方便地利用求导解决问题,在深度学习中也有所应用。 参考链接: https://blog.youkuaiyun.com/ccnt_2012/article/details/81127117 ...

weixin_38410551的博客 5595

最优化方法——Least Squares

最优化方法——Least Squares前言一、实验目的与要求二、问题三、模型建立与求解3.1 解决问题思路3.2 模型建立3.2.1 最小二乘法问题3.3 实验过程3.3.1 对矩阵A进行QR分解3.3.2 使用梯度下降法逼近最优解3.3.3 分析“近似解”与“准确解”之间的误差3.4 性能分析3.5 存在问题四、小结 肝! 前言 Matrix Inverse Orthogonal Matrices QR Factorization 最优化太顶了… 【注】以下内容全部非官方,纯属记录个人角度的理解

weixin_51128278的博客 1678

如何理解最小二乘法?

最小平方法是十九世纪统计学的主题曲。 从许多方面来看, 它之于统计学就相当于十八世纪的微积分之于数学。 ----乔治·斯蒂格勒的《The History of Statistics》 1 日用而不知 来看一个生活中的例子。比如说,有五把尺子: 用它们来分别测量一线段的长度,得到的数值分别为(颜色指不同的尺子): 之所以出现不同的值可能因为: 不同厂家的尺子的生产精度不同 ...

马同学 25万+

Least Squares

文章目录Least SquaresLSGauss-NewtonEg Odo Calib Least Squares LS 一般最小二乘: 计算超定系统的解的方法 方程多于未知数 方程中的平均误差之和最小 解决大型问题的标准方法 使用线性化近似值 Gauss-Newton 是非线性问题的迭代方法 问题: 给定一个由一组n 个观察函数描述的系统 {fi(x}=1:n{\{f_i(x\}=1:n}{fi​(x}=1:n xxx 状态向量(状态) ziz_izi​ 是状态xxx的一个测量(实际测量) zi^

xiaoma_bk的博客 1471
上一篇: C++编程语言:标准库:第39章——本地化(语言环境)( Locales)(Bjarne Stroustrup)
下一篇: 编程语言中宏(指令)的说明
ComputerInBook
博客等级 码龄19年 1168粉丝 465原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值