极大似然估计_通俗理解“极大似然估计”

之前总是没能理解啥叫极大似然估计，一直似是而非，似懂非懂。结果越是搞不懂，偏偏越是哪都见着它，着实让人郁闷。索性花些工夫，搞懂它，写个博客做记录，分享出来，以教为学，尽可能通俗易懂。

本文同时发布于以下站点 ：

• 通俗理解极大似然估计-优快云博客
• 通俗理解“极大似然估计”-知乎

---

1. 似然估计

1.1 下定义

理解极大似然估计之前，必须知道何为似然、何为估计。先来热热身，看看维基百科关于“似然函数”的定义：

在数理统计学中，似然函数是一种关于统计模型中的参数的函数，表示模型参数中的似然性。似然函数在统计推断中有重大作用，如在最大似然估计和费雪信息之中的应用等等。
“似然性”与“或然性”或“概率”意思相近，都是指某种事件发生的可能性，但是在统计学中，“似然性”和“概率”（或然性）又有明确的区分： 概率，用于在已知一些参数的情況下，预测接下来在观测上所得到的结果； 似然性，则是用于在已知某些观测所得到的结果时，对有关事物之性质的参数进行估值。
在这种意义上，似然函数可以理解为条件概率的逆反。在已知某个参数 B时，事件 A会发生的概率写作：

利用贝叶斯定理，

因此，我们可以反过来构造表示似然性的方法：已知有事件 A发生，运用似然函数

，我们估计参数

B的可能性。形式上，似然函数也是一种条件概率函数，但我们关注的变量改变了：

注意到这里并不要求似然函数满足归一性：

。一个似然函数乘以一个正的常数之后仍然是似然函数。对所有

，都可以有似然函数：

是不是看到后面就有些晕晕乎乎的，没关系，举个例子，就好理解了。

1.2 举例子

假设我们手上有一枚硬币，已知它是一枚普通的硬币（正面朝上和反面朝上的概率都为0.5），抛出10次，请问正面朝上和反面朝上的次数各是多少？

你说这也太小儿科了，当然是各5次，哪怕实际不是，再将抛出10次这个动作重复很多次，平均结果也一定是正反面各5次。

为什么？因为如果分布或函数中的参数定下来了，产生的结果也就确定了。这枚硬币正面朝上和反面朝上的概率确定了，只要抛的次数够多，结果一定是正、反面各占50%。

这就是由因到果，根据真实参数（或已经发生的观测结果）去推测未来的观测结果，这个过程叫做 预测；预测正确的可能性叫做 概率。

理解了概率，我们再反过来看，想象一下，如果这枚硬币被人做了手脚，一头重、一头轻，也抛了10次，结果是7次正面、3次反面，请问这枚硬币正面朝上和反面朝上的概率是多少？

我们会说，如果仅仅根据这个结果（7次正面、3次反面）&