MLE(极大似然估计)与MAP(最大后验估计)

$p(x|\theta )$

若 $\theta$是确定值,$x$是变量，则$p(x|\theta )$描述了不同的$X=x$出现的概率 --> 概率函数 probability

若 $\theta$是变量,$x$是已知数据，则$p(x|\theta )$描述了不同的模型参数下出现这个$x$的概率 --> 似然函数 likelihood

MLE (Maximum Likelihood Estimation)

拿一枚硬币（不一定均匀）抛掷实验10次，得到正(1)反(0)结果：$x_0=[0,1,1,1,1,0,1,1,1,0]$

假设抛硬币正面朝上概率是$\theta$

那么，出现$X=x_0$的似然 $L={\theta }^7\times (1-\theta {)}^3$

经计算发现，当$\theta =0.7$时出现这个$x_0$的概率最大($p(x|\theta )$极大)

频率学派，认为$\theta$是确定的值。

MAP (Maximum A Posteriori)

$$p(\theta |x_0)=\frac{p(x_0|\theta )\times p(\theta )}{p(x_0)}\propto p(x_0|\theta )\times p(\theta )$$

$p(\theta |x_0)$是后验概率

上式中$p(x_0)$是一个已知值(例如试验1000次出现某个结果10次，则$p(x_0)=0.1$)

最大化$p(\theta |x_0)$的意义：$x_0$已经出现，$\theta$取什么值时$p(\theta |x_0)$最大

先验$p(\theta )=0.5$是在没有数据之前的猜测

统计学派，认为$\theta$是变量，需要根据观测数据更新。