概率与似然

概率表达了在给定参数条件$\theta$下，样本$X=x$的可能性是多大。

而似然表示的是在给定样本$X=x$时，参数$\theta$的可能性。

例如在离散情况下：
$$L({\theta }_1|x)=P_{{\theta }_1}(X=x)>P_{{\theta }_2}(X=x)=L({\theta }_2|x)$$
如果上式成立，则在参数${\theta }_1$下随机变量$X$取到$x$值的可能性大于${\theta }_2$。

同样在连续情况下也类似。

极大似然估计

在一次抽样中，得到观测值$x_1,x_2...x_n$。选取${\theta }^{\prime }(x_1,x_2...x_n)$作为$\theta$的估计值，使得$\theta ={\theta }^{\prime }(x_1,x_2...x_n)$时样本出现的概率最大。

离散型样本：
$$L(\theta )={\Pi }_{i=1}^{n}p(x_i;\theta )$$
连续型样本：
$$L(\theta )={\Pi }_{i=1}^{n}f(x_i;\theta )$$
极大似然估计：
$$L(x_1,x_2,...,x_n;\hat{\theta })=ma{x}_{\theta \in \Theta }L(x_1,x_2,...,x_n;\theta )$$

求解$\theta$

1. 构造似然函数：$L(\theta )$
2. 对似然函数取对数：$lnL(\theta )$。因为不影响极值点，所以可以取对数。
3. 求偏导$\frac{\partial lnL}{\partial \theta }=0$
4. 求解得到$\theta$