最大似然估计MLE和最大后验概率MAP

最大似然估计

最大似然估计中采样需满足一个很重要的假设，就是所有的采样都是独立同分布的。

最大似然估计的一般求解过程：

（1） 写出似然函数；

（2） 对似然函数取对数，并整理；

（3） 求导数 ；

（4） 解似然方程
　　
【例】：假如一个盒子里面有红黑共10个球，每次有放回的取出，取了10次，结果为7次黑球，3次红球。问拿出黑球的概率 p 是多少？

我们假设7次黑球，3次红球为事件 A ，一个理所当然的想法就是既然事件 A已经发生了，那么事件 A 发生的概率应该最大。所以既然事件 A 的结果已定， 我们就有理由相信这不是一个偶然发生的事件，这个已发生的事件肯定一定程度上反映了黑球在整体中的比例。所以我们要让模型产生这个整体事件的概率最大，我们把这十次抽取看成一个整体事件 A ，很明显事件 A 发生的概率是每个子事件概率之积。我们把 P(A) 看成一个关于 p 的函数，求 P(A) 取最大值时的 p ，这就是极大似然估计的思想。具体公式化描述为$P(A)=p^7(1-p{)}^3$。接下来就是取对数转换为累加，然后通过求导令式子为0来求极值，求出p的结果。

最大后验概率

最大后验估计可以看做规则化的最大似然估计。

最大后验估计融入了要估计量的先验分布在其中，即模型参数可能满足某种分布，不再一味地依赖数据样例（万一数据量少或者数据不靠谱呢）。随着数据量的增加，参数分布会更倾向于向数据靠拢，先验假设的影响会越来越小。

【例】考虑一个医疗诊断问题，有两种可能的假设：（1）病人有癌症。（2）病人无癌症。样本数据来自某化验测试，它也有两种可能的结果：阳性和阴性。假设我们已经有先验知识：在所有人口中只有0.008的人患病。此外，化验测试对有病的患者有98%的可能返回阳性结果，对无病患者有97%的可能返回阴性结果。假设现在有一个新病人，化验测试返回阳性，是否将病人断定为有癌症呢？

上面的数据可以用以下概率式子表示：

P(cancer)=0.008,P(无cancer)=0.992

P(阳性|cancer)=0.98,P(阴性|cancer)=0.02

P(阳性|无cancer)=0.03，P(阴性|无cancer)=0.97

我们可以来计算极大后验假设：

P(阳性|cancer)p(cancer)=0.98*0.008 = 0.0078

P(阳性|无cancer)p(无cancer)=0.030.992 = 0.0298

$P(canner|阳性)=\frac{P(阳性|cancer)p(cancer)}{P(阳性|cancer)p(cancer)+P(阳性|无cancer)\ast p(无cancer)}=\frac{0.0078}{0.0078+0.0298}=0.21$