对最小二乘法的概率解释.

最新推荐文章于 2024-04-23 15:23:27 发布
原创 最新推荐文章于 2024-04-23 15:23:27 发布 · 4.3k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #最小二乘法 #概率

这篇博客基于Andrew Ng的机器学习课程，探讨了为何选择平方误差作为目标函数的原因，涉及高斯分布、正态分布、中心极限定理等线性代数概念，以及IID和极大似然估计。博主通过概率解释最小二乘法，并提出在特定条件下，目标值y对参数θ和输入x服从正态分布。

《Andrew Ng 机器学习笔记》这一系列文章文章是我再观看Andrew Ng的Stanford公开课之后自己整理的一些笔记，除了整理出课件中的主要知识点，另外还有一些自己对课件内容的理解。同时也参考了很多优秀博文，希望大家共同讨论，共同进步。

网易公开课地址：http://open.163.com/special/opencourse/machinelearning.html

在这篇博文中，我们来分析为何之前要选择平方函数作为目标函数会取得更好的效果。


本篇内容需要了解到的线性代数知识点：

（1）高斯分布

（2）正态分布

（3）中心极限定理

（4）IID(独立同分布)

（5）似然函数

（6）极大似然估计


对最小二乘法的概率解释

首先我们先做几个假设，这些假设并不能说是绝对正确，但在这里足够使用。

最低0.47元/天 解锁文章
【JCR2区】飞蛾扑火算法优化最小二乘法MFO-LSSVM数据分类【含Matlab源码 6016期】
订阅付费专栏Matlab（奶茶价版）或下载付费资源，可赠送奶茶价版付费专栏指定代码1份；
09-12 1453
飞蛾扑火算法优化最小二乘法MFO-LSSVM数据分类 完整代码和数据，方可运行；数据可直接替换，适合小白！可提供运行操作视频！
【JCR2区】豪猪算法优化最小二乘法CPO-LSSVM数据分类【含Matlab源码 6023期】
订阅付费专栏Matlab（奶茶价版）或下载付费资源，可赠送奶茶价版付费专栏指定代码1份；
09-12 667
豪猪算法优化最小二乘法CPO-LSSVM数据分类 完整代码和数据，方可运行；数据可直接替换，适合小白！可提供运行操作视频！
使用随机梯度算法对高斯核模型进行最小二乘法的MATLAB程序
yunxinan的专栏
07-30 1003
n=50; s=1000; x=linspace(-3,3,n)';pix=pi*x; y=sin(pix)+o.1*x+0.05*randn(n,1);hh=2*0.3^2;t0=randn(n,1);e=0.1;for o=1:n*1000 i=ceil(rand*n); ki=exp(-(x-x(i)).^2/hh);t=t0-e*ki*(ki'*t0-y(i)); if=norm(t-t0)
最小二乘法的概率解释
ZHE
05-05 6972
当我们面对回归问题时，为什么会采用线性回归，最小二乘法来定义成本函数，即1/2的差的平方和。这里给出概率解释：我们拟合的直线的函数值即预测值必然和真实值会存在误差。那么假定一个等式：            其中各个样本的误差项，是独立同分布且服从高斯分布（正态分布）。（可根据中心极限定理来看）即就是：                                 均值为0，容易理解.所以，   ...
机器学习|最小二乘法的概率解释
qq_38862852的博客
06-10 634
在拟合数据时，为什么选择最小二乘来作为误差函数呢？虽然不明白为什么，但是一直觉得很有道理的样子。最小二乘或平方差作为误差函数，是基于一些概率假设推导出了这个公式。这里有一些概率上的解释。让我们慢慢来看。1.允许误差存在首先要说明的，所有的预测值都不可能完美地与真实值契合，所以误差必然存在，而我们的目的就是如何让误差尽可能地小。这样就可以假设有一...
最小二乘法的概率解释-最大似然方法
weixin_30425949的博客
11-18 191
对于常规线性模型来说，其精确的模型可定义如下： 其中，模型中的第一部分描述了通过待预测值随自变量的变化趋势，而第二部分描述了线性模型不能建模的误差项。 最小二乘方法采用损失代价和最小来获得线性模型的参数。在此，我们通过假设误差项的概率分布，并用最大似然估计的方法寻求模型参数Θ。 在此，我们假设误差项ε是独立同分布的，并且符合均值为0的高斯分布，即： 则，待预测值也服从均值为的...
【机器学习】线性回归——最小二乘法的概率解释高斯噪声（理论+图解+公式推导）
优快云 精品推荐
08-22 4235
如果需要完整代码可以关注下方公众号，后台回复“代码”即可获取，阿光期待着您的光临~ 文章目录概述高斯噪声 2021人工智能领域新星创作者，带你从入门到精通，该博客每天更新，逐渐完善机器学习各个知识体系的文章，帮助大家更高效学习。 概述 对于之前的文章我们使用了最小二乘估计然后获得了损失函数： L(w)=∑i=1m(wTxi−yi)2 L(w)=\sum_{i=1}^m(w^Tx_i-y_i)^2 L(w)=i=1∑m​(wTxi​−yi​)2 然后求解极值点，然后获得 w∗=(XTX)−1XTY.
不同滤波方法对最小二乘法圆度计算精度的提升效果有何差异？
最新发布
09-18
不同滤波方法对最小二乘法圆度计算精度的提升效果存在差异，以下为几种常见滤波方法及其可能的影响： ### 高提升滤波 高提升滤波可以增强图像边缘，通过增大局部灰度差异来增强对比度，而不影响图像整体对比度 [^2]...
导数最小二乘法在Duane模型估计中的应用
这种方法基于一个假设，即在一次观测中，待估计参数的取值应使得随机样本与模型的各阶导数在概率尺度下的差异最小。通过构建基于导数的损失函数，DLSE能够综合考虑模型曲线的形状和变化率，从而更全面地利用试验数据...
【概率与统计】最小二乘法
mjiansun的专栏
03-08 2865
这里的距离最小并非点到直线的垂直距离最短，而是点到直接的y轴距离最短，即通过该点并与y轴平行的直线，点到该y轴平行线与直线交点的距离最短，如下图所示的双向箭头。例如在某种疾病是在两种条件下发生的，但是需要当这两种条件满足一定关系时才会促发疾病，因此医生就可以通过患病样本获得患病情况下的两种条件值，标记到一个二维坐标中，通过最小二乘法，可以将患病的两种条件通过函数表达出来，从而当有另外一个新疑似患者就医时，则可以根据二元一次方程确定是否可能患有该疾病。
最小二乘法的概率依据是什么？
fxnfk
07-07 695
最小二乘法的cost function是J(θ)=∑mi=0(hθ(xi)−yi)2J(\theta)=\sum_{i=0}^m(h_\theta(x^i)-y^i)^2。输入x，输出y，模型hθ(x)h_\theta(x)。y=hθ(x)+ϵy=h_\theta(x)+\epsilon ϵ\epsilon代表偶然的事件，假设符合正太分布ϵ\epsilon~N(0,1)\mathcal{N}(0,
最小二乘法的拟合原理
热门推荐
weixin_41797870的博客
12-08 10万+
一. 最小二乘法的拟合原理 根据《数学指南》书中的解释: 图2 《数学指南》中对最小二乘法的解释 上面这段话，枯燥且无趣，大家不用厌恶，数学向来这个样子。 现在，我们来慢慢认识上面这段话的意思，这句话的意思是说，拟合有两个前提： 1. 要有N个不同的点（x1,x2...xN)的测量值（y1,y2,y3..yN) ，说得简单一点，就是要用三坐标在零件上采很多个不同位置的点，如(x1,y...
优化算法 - 正态分布 and 最小二乘法
GoWeiXH的小天地
01-18 3523
正态分布 and 最小二乘法 最小二乘法的过往 正态分布的前生 二者的联姻
最小二乘法的原理理解
Luoyingfeng的博客
11-28 6万+
在上文一文让你彻底搞懂最小二乘法（超详细推导）中我们提到过，发明最小二乘法的勒让德认为，让误差的平方和最小估计出来的模型是最接近真实情形的(误差=真实值-理论值)。换句话说，勒让德认为最佳的拟合准则是使 yiy_{i}yi​与 f(xi)f(x_{i})f(xi​)的距离的平方和最小，即： L=∑i=1n(yi−f(xi))2L=\sum_{i=1}^{n}(y_{i}-f(x_i))^{2}L=i=1∑n​(yi​−f(xi​))2 这个准则也被称为最小二乘准则。 勒让德在原文中提到：使误差平方和达到最小
多元回归-最小二乘法-残差分析
weixin_44434081的博客
02-16 2万+
多元回归-最小二乘法-残差分析 一.多元线性回归模型的假设 我们需要进行以下六个假设，这些假设是经典的多元线性回归模型有效的前提： 1、因变量Y和自变量X1，X2，…，Xk之间的关系是线性的。 2、自变量（X1，X2，…，Xk）不是随机的。而且，两个或多个自变量之间不存在精确的线性关系。 3、以自变量为条件的残差的期望值为0：E（ε|X1，X2，…，Xk）=0。 4、残差项的方差对于所有观察值都是...
机器学习-线性回归普通最小二乘法运用的经典基本假设有哪些?
weixin_42924611的博客
04-23 2067
在实践中，对于这些基本假设的满足程度需要进行检验和验证。例如，可以通过残差分析来检验误差项的同方差性和正态性，利用相关系数或方差膨胀因子来检验自变量之间的共线性，以及使用F检验或t检验来检验回归系数的显著性。如果基本假设不满足，可能需要采取相应的方法来处理，例如应用异方差性修正方法或采用非线性回归模型。在实际应用中，研究者需要谨慎地评估和解释OLS估计结果，并考虑模型的适用性和假设的合理性。在线性回归中，普通最小二乘法（Ordinary Least Squares，OLS）是一种常用的参数估计方法。
最小二乘法的极大似然解释
xindoo
09-16 3860
最开始学习机器学习的时候，首先遇到的就是回归算法，回归算法里最最重要的就是最小二乘法，为什么损失函数要用平方和，而且还得是最小？仔细想想最小二乘法视乎很合理，但是合理在哪，怎么用数学方法来证明它合理。 J(θ)=12∑i=1m(hθ(x(i))−y(i))2 J(\theta) = \frac{1}{2}\sum_{i=1}^m(h_\theta(x^{(i)}) - y^{(i)})^2
极大既然估计和高斯分布推导最小二乘、LASSO、Ridge回归
weixin_30877755的博客
12-18 269
最小二乘法可以从Cost/Loss function角度去想，这是统计（机器）学习里面一个重要概念，一般建立模型就是让loss function最小，而最小二乘法可以认为是 loss function = （y_hat -y )^2的一个特例，类似的像各位说的还可以用各种距离度量来作为loss function而不仅仅是欧氏距离。所以loss function可以说是一种更一般化的说法。 最大似...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值