參数预计：最大似然预计、贝叶斯预计与最大后验预计

參数预计方法解析

最新推荐文章于 2025-09-08 20:15:10 发布

转载最新推荐文章于 2025-09-08 20:15:10 发布 · 80 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/liguangsunls/p/7347211.html

文章标签：

#php

本文介绍了參数预计中的最大似然预计、贝叶斯预计及最大后验预计三种方法，并对比了它们之间的区别。最大似然预计寻找使观测数据概率最大的參数值；贝叶斯预计结合先验知识和观测数据计算后验概率；最大后验预计在贝叶斯预计基础上选取最可能的參数值。

简单介绍：

在概率统计中有两种基本的方法：參数统计和非參数统计（或者说參数预计和非參数预计）。当中，參数预计是概率统计的一种方法。主要在样本知道情况下，一般知道或如果样本服从某种概率分布。但不知到详细參数（或者知道详细模型，但不知道模型的參数）。

參数预计就是通过多次试验。观察其结果，利用结果推出參数的大概值。（当你推出參数的极大可能值时。就相当于知道了分布及其參数情况。就能够利用它来猜測其它例子出现的概率了。

这属于应用了）

參数预计的方法有多种，这里我们分析三种基于概率的方法。各自是最大似然预计（Maximum Likelihood）、贝叶斯预计（Bayes）和最大后验预计（Maximum a posteriori）。我们如果我们观察的变量是 $x$ ，观察的变量取值（样本）为，要预计的參数是。 $x$ 的分布函数是（我们用条件概率来显式地说明这个分布是依赖于取值的）。

实际中， $x$ 和都能够是几个变量的向量，这里我们最好还是觉得它们都是标量（theta若是标量求导。若是向量求偏导）。

这里的p(x|θ)能够是高斯分布或其它分布。

最大似然预计 Maximum Likelihood (ML)

“likelihood/似然”的意思就是“事件（即观察数据）发生的可能性”。最大似然预计就是要找到的一个预计值，使“事件发生的可能性”最大。也就是使最大。一般来说，我们觉得多次取样得到的 $x$ 是独立同分布的（iid），这样

因为一般都比較小，且N一般都比較大，因此连乘easy造成浮点运算下溢，所以通常我们都去最大化相应的对数形式

详细求解释时。可对右式对求导数。然后令为0。求出值即为。

这时一般知道详细的分布，再加上參数theta，然后能够用含theta的式子表示每一次（独立的）出现的概率。这样L(theta）就是一个含theta參数的式子，最后求导（或偏导），解方程（组）就OK了。

注意：最大似然把待估的參数看做是确定性的量，仅仅是其取值未知。最佳预计就是使得产生以观測到的样本的概率最大的那个值。

该预计是最大可能性预计，但不是无偏预计。

最大似然预计属于点预计，只能得到待预计參数的一个值。

(1) 可是在有的时候我们不只希望知道，我们还希望知道取其他值得概率。即我们希望知道整个在获得观察数据后的分布情况. (2) 最大似然预计只依据（有限的）观察数据对整体分布进行预计，在数据量不大的情况下。可能不准确。比如我们要预计人的平均体重，可是抽样的人都是小孩。这样我们得到的平均体重就不能反映整体的分布，而我们应该把“小孩之占总人口20%”的先验考虑进去。

这时我们能够用贝叶斯方法。