极大似然估计的简单应用

1. 什么是似然函数?

本质是关于随机数X的概率密度函数,只不过没有给定参数.
概率密度函数反映的是给定$X$值 的事件发生概率 (即使是连续值也可以用离散的理解方式来理解)
举例, 抛硬币的结果只有正面和反面,把正面记为 $H$, 反面记为 $T$, 假设$n$次实验中出现$k$个正面,这是个二项分布,假设参数 $\theta$ 代表掷到正面的概率,那么其似然函数为:
$P(X=k)=\left(\genfrac{}{}{0ex}{}{n}{k}\right){\theta }^k(1-\theta {)}^{n-k}(k=1,2,3,4...)$

2. 如何用最大似然估计估计似然函数的参数值?

本质上就是求$\theta$, 利用$X$的样本数据. 比如我们扔了10组硬币,每次扔20次,记录其中正面的次数记作$X_{i}i=1,2,3...10$, 那么求$\theta$的方法如下:

1. 把$n=20$ 和 $X_i$代入10个样得到10个概率密度函数
2. 将这10个函数相乘得到一个新的函数
3. 把这个函数对$\theta$求导, 令导数值为0,求得$\theta$

至此,求值完毕,把$\theta$代入原来的似然函数,得到$X$的概率密度函数.