最大似然估计&贝叶斯决策

最大似然估计

已知分布，寻找一个参数，使得这个分布发生的概率最大。
$\theta =argmax{\prod }_{i=1}^{n}p(x_i;\theta )$

也可以理解为最小化KL散度。

举例：
一个硬币被抛了100次，61次正面朝上，假设正面朝上的概率分别为1/3，1/2，2/3，以上三个哪个是最大似然估计？

$P(H=61|p=\frac{1}{3})=9.6\times 10^{-9}$
$P(H=61|p=\frac{1}{2})=0.007$
$P(H=61|p=\frac{2}{3})=0.4$

所以$p=\frac{2}{3}$是最大似然估计。

贝叶斯决策

1.基于最小错误概率
2.基于最小风险