最大似然估计(Maximum likelihood estimation)

《概率论》:最大似然估计 和 求法 2021.09.21 主要参考小崔老师:https://www.bilibili.com/video/BV1Hb4y1m7rE 1. 最大似然估计思路 从样本情况推测自然界概率模型,到底自然界真实情况是不是这样?不好说,不一定。 2. 方法 第一步:自然界模型中,我们假设,抽中1的概率θ\thetaθ,抽2的概率(1−θ)(1-\theta)(1−θ),但θ\thetaθ到底多少不知道。 第二步:那么我从大数据中抽了五个球,因为数据样本非常大,所以不考虑排列,如图①①②①②概率是 L(θ)=θ3(1 阅读详情
最大似然估计提供了一种给定观察数据来评估模型参数的方法,即:“模型已定,参数未知”。简单而言,假设我们要统计全国人口的身高,首先假设这个身高服从服从正态分布,但是该分布的均值与方差未知。我们没有人力与物力去统计全国每个人的身高,但是可以通过采样,获取部分人的身高,然后通过最大似然估计来获取上述假设中的正态分布的均值与方差。

    最大似然估计中采样需满足一个很重要的假设,就是所有的采样都是独立同分布的。下面我们具体描述一下最大似然估计:

    首先,假设为独立同分布的采样,θ为模型参数,f为我们所使用的模型,遵循我们上述的独立同分布假设。参数为θ的模型f产生上述采样可表示为

       

回到上面的“模型已定,参数未知”的说法,此时,我们已知的为,未知为θ,故似然定义为:

   

  在实际应用中常用的是两边取对数,得到公式如下:

    

  其中称为对数似然,而称为平均对数似然。而我们平时所称的最大似然为最大的对数平均似然,即:

   

     举个别人博客中的例子,假如有一个罐子,里面有黑白两种颜色的球,数目多少不知,两种颜色的比例也不知。我 们想知道罐中白球和黑球的比例,但我们不能把罐中的球全部拿出来数。现在我们可以每次任意从已经摇匀的罐中拿一个球出来,记录球的颜色,然后把拿出来的球 再放回罐中。这个过程可以重复,我们可以用记录的球的颜色来估计罐中黑白球的比例。假如在前面的一百次重复记录中,有七十次是白球,请问罐中白球所占的比例最有可能是多少?很多人马上就有答案了:70%。而其后的理论支撑是什么呢?

    我们假设罐中白球的比例是p,那么黑球的比例就是1-p。因为每抽一个球出来,在记录颜色之后,我们把抽出的球放回了罐中并摇匀,所以每次抽出来的球的颜 色服从同一独立分布。这里我们把一次抽出来球的颜色称为一次抽样。题目中在一百次抽样中,七十次是白球的概率是P(Data | M),这里Data是所有的数据,M是所给出的模型,表示每次抽出来的球是白色的概率为p。如果第一抽样的结果记为x1,第二抽样的结果记为x2... 那么Data = (x1,x2,…,x100)。这样,

    P(Data | M)

     = P(x1,x2,…,x100|M)

     = P(x1|M)P(x2|M)…P(x100|M)

     = p^70(1-p)^30.

那么p在取什么值的时候,P(Data |M)的值最大呢?将p^70(1-p)^30对p求导,并其等于零。

    70p^69(1-p)^30-p^70*30(1-p)^29=0。

    解方程可以得到p=0.7。

在边界点p=0,1,P(Data|M)=0。所以当p=0.7时,P(Data|M)的值最大。这和我们常识中按抽样中的比例来计算的结果是一样的。

假如我们有一组连续变量的采样值(x1,x2,…,xn),我们知道这组数据服从正态分布,标准差已知。请问这个正态分布的期望值为多少时,产生这个已有数据的概率最大?

    P(Data | M) = ?

根据公式

    

  可得:

 

  对μ求导可得 ,则最大似然估计的结果为μ=(x1+x2+…+xn)/n

 

      由上可知最大似然估计的一般求解过程:

  (1) 写出似然函数;

  (2) 对似然函数取对数,并整理;

  (3) 求导数 ;

  (4) 解似然方程

 

注意:最大似然估计只考虑某个模型能产生某个给定观察序列的概率。而未考虑该模型本身的概率。这点与贝叶斯估计区别。贝叶斯估计方法将在以后的博文中描述

本文参考

http://en.wikipedia.org/wiki/Maximum_likelihood

http://www.shamoxia.com/html/y2010/1520.html

如何通俗的理解最大似然估计法 最大似然估计就是,利用已知的样本结果,反推最有可能导致这样结果的参数值。 阅读详情

相关推荐

详解最大似然估计(MLE)、最大后验概率估计(MAP),以及贝叶斯公式的理解

声明:本文为原创文章,发表于nebulaf91的csdn博客。欢迎转载,但请务必保留本信息,注明文章出处。 本文作者: nebulaf91 本文原始地址:最大似然估计(Maximum likelihood estimation, 简称MLE)和最大后验概率估计(Maximum a posteriori estimation, 简称MAP)是很常用的两种参数估计方法,如果不理解这两种方法的思路,很

nebulaf91的博客 33万+

最大似然估计(通俗讲解)

最大似然估计是找到最适合这个数据的分布DDD的参数θ\thetaθ(即在所有可能的θ\thetaθ取值中,寻找一个值使这个采样的“可能性”最大化)。从数学上来说,可以在θ\thetaθ的所有可能取值中寻找一个值使得似然函数取到最大值。而这个可能性最大的θθ值即为θ\thetaθ的最大似然估计。最大似然估计实际上是样本的函数。笔者能力有限,遂分享自此,倘若大佬发现错误,敬请批评指正;倘若大佬有更加通俗易懂的理解方式,欢迎交流😁!

m0_70832728的博客 1万+

最大似然估计(Maximum likelihood estimation)

最大似然估计 最大似然估计是机器学习领域最为常见的用来构建目标函数的方法,它的核心思想是根据观测到的结果来预测其中的未知参数。 观测到的是 样本数据。需要估计的是 能够产生这些样本的 模型的参数。 待估计的参数 θ\thetaθ —> (产生) 观测到的样本。 待估计的参数 θ\thetaθ <—(估计) 观测到的样本。 假设未知参数为θ\thetaθ,已知的样本为D,最大似然估...

m0_37531129的博客 1087

【最大似然估计】详解概率论之最大似然估计

最大似然估计(Maximum Likelihood Estimation,简称MLE)。它是机器学习中常用的一种参数估计方法。它提供了一种给定观测数据来评估模型参数的方法。也就是模型已知,参数未定。利用已知样本结果(统计概率)反推最有可能导致这样结果的参数值。.........

程序星空实验室 1万+

最大似然估计(Maximum Likelihood Estimation, 简称 MLE)

通过观察到的数据,找到一组模型参数,使得这些数据在该模型下出现的概率(似然)最大化。换句话说,MLE 试图找到一组参数,使得模型对数据的描述能力最强。假设我们有nnn个独立同分布(i.i.d.)的观测数据Xx1x2xnXx1​x2​xn​,每个数据点xix_ixi​服从某个概率分布px∣θpx∣θ,其中θ\thetaθ是待估计的参数。

Rhett_Butler0922的博客 1302

创龙 瑞芯微 RK3588 国产工业开发板—Qt交叉编译环境搭建与GPU图形渲染实战

本文详细介绍了在创龙RK3588国产工业开发板上搭建Qt交叉编译环境并利用GPU进行图形渲染的完整实战流程。文章从环境准备入手,讲解了交叉编译工具链的配置,并提供了命令行与Qt Creator两种编译方法。通过部署运行和自启动设置,确保程序在板卡上稳定运行。最后,通过OpenGL案例实战,展示了如何调用RK3588的GPU进行高效图形渲染,释放其图形处理潜力,适用于工业HMI、智能终端等高要求图形界面开发。

weixin_28278377的博客 451

最大似然估计的理解(Maximum likelihood estimation)

下午看了半天这个玩意,翻了好几篇文章都感觉很跳跃,最后结合着看终于看明白了。。。赶紧记录下来,省的以后又忘了。。。 直观理解 先上个wiki里的定义: In statistics, maximum likelihood estimation (MLE) is a method of estimating the parameters of a statistical model, given ...

weixin_43909872的博客 7943

SIMPLIS实战:从零构建理想BUCK电路,精准计算与POP稳态分析

本文详细介绍了如何使用SIMPLIS软件从零开始构建并仿真一个理想的BUCK降压电路。通过设定关键参数、计算理想器件值,并搭建仿真模型,文章重点演示了暂态仿真以观察电路上电过程,并深入讲解了高效的POP(周期性工作点)稳态分析技术,帮助工程师快速验证设计、评估稳态性能,从而加速电源设计迭代。

weixin_29165465的博客 398

最大似然估计(Maximum Likelihood Estimation)

本文对于最大似然估计的算法进行了一个简要的讨论总结。

杂的文 4519

RseQC实战指南:从安装到RNA-Seq数据质控全流程解析

本文提供了一份详尽的RseQC实战指南,涵盖从安装配置到RNA-Seq数据质控的全流程。文章重点解析了RseQC作为专业质控工具的核心价值,手把手指导如何通过Conda或pip完成安装,并深入讲解了bam_stat.py、geneBody_coverage.py等关键模块的使用方法与结果解读技巧,帮助用户有效评估RNA完整性、文库构建质量及链特异性,确保下游分析的可靠性。

weixin_29200741的博客 204

VSCode搭配Keil开发STM32:从环境配置到代码跳转全流程(避坑指南)

本文详细介绍了如何使用VSCode搭配Keil进行STM32开发,从环境配置到代码跳转的全流程指南。通过安装必备插件和正确配置项目文件,开发者可以在VSCode中享受现代编辑器的便捷功能,同时保留Keil的编译调试能力,提升嵌入式开发效率。

weixin_28832121的博客 253

一文了解最大似然估计(Maximum Likelihood Estimation)

来源:我得学城 本文约3500字,建议阅读10+分钟 本文将详细介绍最大似然估计。在统计学中,最大似然估计(maximum likelihood estimation,MLE),也称极大似然估计,是用来估计一个概率模型的参数的一种方法。最大似然估计在统计学和机器学习中具有重要的价值,常用于根据观测数据推断最可能的模型参数值。本文基于两篇文章整合而成,https://medium.com/@data...

数据派THU 1875

k8s篇之underlay网络和overlay区别

underlay和overlay

小橙子的笔记屋 2144

最大似然估计(Maximum Likelihood Estimation, MLE)详解

最大似然估计(MLE)通过最大化观测数据的概率来估计参数。经典例子包括正态分布的均值/方差估计($\mu^=\frac{1}{n}\sum x_i$)和二项分布参数估计($p^*=k/n$)。在大模型(如GPT、BERT)中,MLE是损失函数(如交叉熵)的基础,但需结合正则化、优化算法(如Adam)应对过拟合和高维问题,并扩展至生成模型(如GAN)。其局限性(过拟合、非凸优化)通过贝叶斯方法、数据增强等技术缓解,成为统计学习与深度学习的核心方法论

qq_40500099的博客 5969

【法如faro】三维激光软件Scene2023数据处理(自动配准并转换坐标)流程

法如faro Scene2023数据处理(自动配准并转换坐标)的主要流程为:新建项目、导入数据、处理、自动注册、坐标系转换、模型导出立和面模型导出等。

智慧空间实验室 2385

21天教你学会PCIe专栏(14)--安全性考虑

1.1 定义安全性(Security):安全性是指保护系统免受未经授权的访问、攻击和破坏,确保数据的机密性、完整性和可用性。1.2 重要性数据保护:保护敏感数据,防止数据泄露和篡改。系统防护:防止恶意攻击,确保系统的稳定性和可靠性。合规性:满足行业标准和法律法规的要求,避免法律风险。用户信任:提高用户对系统的信任度,增强市场竞争力。通过今天的学习,你应该对PCIe安全性的重要性和常见威胁有了深入的了解,掌握了实施安全措施的方法和工具,以及安全开发的最佳实践。

xiaoheshang_123的博客 850

最大似然估计(maximum likelihood estimation)

参考:http://wenku.baidu.com/view/9f8c428271fe910ef12df8e0.html;http://www.cnblogs.com/liliu/archive/2010/11/22/1883702.html;http://zh.wikipedia.org/wiki/%E6%9C%80%E5%A4%A7%E4%BC%BC%E7%84%B6%E4%BC%B0%E8%

1万+

Python与ArcGIS系列(二)获取地图文档

在ArcPy中,要引用当前的地图文档(Map Document),可以使用 mapping 模块中的 MapDocument 类。值得注意的是,在arcgis内部python窗口运行该代码才能访问已加载进arcgis的文档,如果通过其他idle则无法访问。要引用磁盘上的地图文档并对其进行一些设置,同样可以使用ArcPy中的 mapping 模块和 MapDocument 类。对于我们平常的工作,接触最多的就是图层数据处理,获取图层后就可以方便地进行下一步处理。

weixin_43894929的博客 2201

深入浅出最大似然估计(Maximum Likelihood Estimation)

最大似然估计是利用已知的样本的结果,在使用某个模型的基础上,反推最有可能导致这样结果的模型参数值。 例子1:抽球举个通俗的例子:假设一个袋子装有白球与红球,比例未知,现在抽取10次(每次抽完都放回,保证事件独立性),假设抽到了7次白球和3次红球,在此数据样本条件下,可以采用最大似然估计法求解袋子中白球的比例(最大似然估计是一种“模型已定,参数未知”的方法)。当然,这种数据情况下很明显,白...

duanbin的博客 1102

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

最大似然估计Maximum Likelihood Estimation

Statement of the Problem Suppose we have a random sample X1, X2,..., Xn whose assumed probability distribution depends on some unknown parameter θ. Our primary goal here will be to find a point est

GarfieldEr007的专栏 3718

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

上一篇: SNP 命名总结
下一篇: samba 权限设置
arnoyshell
博客等级 码龄14年 4粉丝 9原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值