贝叶斯(2)-最大似然估计和贝叶斯参数估计

本文探讨了在样本不足的情况下,如何使用密度函数拟合复杂的条件密度,选择了正态分布作为模型,并介绍了使用最大似然估计和贝叶斯估计进行参数估计的方法。通过计算每个类别的均值来构建模型,但要注意小概率可能导致下溢问题,采用对数似然来解决。极大似然估计依赖于模型选择,若模型错误则可能无法达到最优。博客建议读者多次阅读并参考相关资源以加深理解。

在这里插入图片描述
直接统计类条件密度太复杂了且样本不足,所以我们希望用一个密度函数去拟合它,比如拟合成下面的正态分布,其中的参数可以用最大似然方法或者贝叶斯估计去进行参数估计。
在这里插入图片描述
在这里插入图片描述
给每个类建模一个密度函数,每个类的函数的参数θ不同;
在这里插入图片描述
假设n个样本独立同分布
在这里插入图片描述
每个样本可以形成一个模型,多个样本多个模型,如图1;取均值得到图2;但是可能会下溢(p很小),所以用log来解决这个问题,也称为似然;
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
这里的Σ是协方差;t代表转置,因为x是多维向量;
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
极大似然估计就是事先假定一个模型,用样本估计参数;所以对模型的选择依赖性很大,如果模型选错,就达不到最优。
在这里插入图片描述
上面的公式不过是在普通的贝叶斯公式上加了个条件D,在每个概率上都加个D就行。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

没看懂,日后再看几遍吧。。。。。

多方参考,看看这篇博客辅助理解一下链接

### 回答1: 贝叶斯估计最大似然估计都是概率统计中的常见方法,它们在统计学机器学习中都有广泛的应用。 贝叶斯估计最大似然估计都是用来估计概率分布中的参数的方法。其中,最大似然估计是根据样本数据来确定参数值,使得这些参数下的样本出现的概率最大;而贝叶斯估计则考虑了先验概率后验概率,根据贝叶斯公式计算得到参数的后验分布,进而计算参数的期望值或最大后验概率。 最大似然估计通常用于数据量大、数据质量高、先验知识较少的情况下,是一个无偏估计;而贝叶斯估计则可以考虑先验知识,并对参数的不确定性进行建模,可以更加准确地估计参数值,但需要对先验分布进行假设,且计算比较复杂。 因此,在实际应用中,选择哪种方法取决于数据的性质、先验知识以及需要的精度等因素。 ### 回答2贝叶斯估计最大似然估计是统计学中常用的两种参数估计方法,它们的主要差异体现在以下几个方面: 1. 假设的不同:贝叶斯估计方法假设参数是一个未知的随机变量,而最大似然估计方法认为参数是一个确定的值。 2. 参数的表示方式:贝叶斯估计方法将参数表示为一个概率分布,即参数的后验分布,而最大似然估计方法将参数表示为一个点估计,即参数的估计值。 3. 数据处理:最大似然估计方法只利用样本数据本身的统计特性来估计参数,而贝叶斯估计方法结合了先验信息样本数据的统计特性进行参数估计。 4. 置信区间的计算:最大似然估计方法主要关注参数的点估计,不涉及参数的置信区间的计算。而贝叶斯估计方法可以通过后验分布计算参数的置信区间。 5. 估计的稳定性:贝叶斯估计方法可以通过引入先验信息来提高参数估计的稳定性,尤其在样本数据较少或者噪声较大的情况下有较好的表现。而最大似然估计方法对于不满足大样本条件或者出现过拟合等问题时,估计结果可能不稳定。 综上所述,贝叶斯估计最大似然估计在估计方法的假设、参数表示方式、数据处理、置信区间计算以及估计的稳定性等方面存在差异。具体选择哪种方法取决于问题的背景数据的特点。 ### 回答3: 贝叶斯估计最大似然估计是两种常用的参数估计方法,它们有着一些显著的差异。 首先,贝叶斯估计最大似然估计的目标不同。最大似然估计的目标是找到一个使得已观测数据在该参数下的概率最大化的参数值。而贝叶斯估计不仅关注已观测数据,还引入了先验概率,利用先验信息来更新参数的估计。 其次,贝叶斯估计得到的结果是一个后验分布,而最大似然估计得到的结果是一个点估计。贝叶斯估计通过贝叶斯定理将先验概率与似然函数相结合,得到参数的后验分布。这个后验分布能够在不同的先验信息下进行不同方案的比较,并提供了更全面的信息。而最大似然估计只给出一个点估计,无法提供参数的不确定性度量。 另外,贝叶斯估计不仅关注已观测数据,也关注参数本身。它可以通过引入先验概率来减小数据量小的情况下参数估计的方差。而最大似然估计则仅仅关注已观测数据,忽略了参数本身的信息。 最后,贝叶斯估计需要指定先验概率,而最大似然估计不需要。选择先验概率是贝叶斯估计中的一个关键问题,它可以根据领域知识或者过去的经验来确定。但是如果选择不当,会导致结果出现偏差。 综上所述,贝叶斯估计最大似然估计在目标、结果形式、参数不确定性度量先验概率等方面存在差异。选择哪种估计方法应根据具体问题可用信息的性质来决定。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值