参数估计之最大似然估计入门详解

参数估计之最大似然估计

（本章内容是后面logistic回归和softmax回归的基础）
基本思路：对于离散总体，设有样本观测值$x_1,x_2,\cdots ,x_n$，我们写出该观测值出现的概率，它一般依赖于某个或某些参数，用$\theta$表示，将该概率看成$\theta$的函数，用$L(\theta )$表示，称为似然函数：
$$L(\theta )=P(X_1=x_1,\cdots ,X_n=x_n;\theta )\text{\hspace{1em}(1)}$$
求最大似然估计就是找$\theta$的估计值$\hat{\theta }=\hat{\theta }(x_1,\cdots ,x_n)$使得上式的$L(\theta )$达到最大。

例子1

设产品分为合格品与不合格品两类，我们用一个随机变量$X$来表示某个产品经检查后的不合格品数，则$X=0$表示合格品，$X=1$表示不合格品，则$X$服从二点分布$b(1,p)$，其中$p$是未知的不合格率。先抽取n个产品看是否合格，得到样本$x_1,\cdots ,x_n$，这批观测值发生的概率为：
$$\begin{array}{rl}P(X_1=x_1,\cdots ,X_n=x_n;p)& =\prod _{i=1}^n{p}^{x_i}(1-p{)}^{1-x_i}\\ & =p^{{\sum }_{i=1}^n{x}_i}(1-p{)}^{n-{\sum }_{i=1}^n{x}_i}\end{array}\text{\hspace{1em}(2)}$$
似然函数为
$$L(p)=p^{{\sum }_{i=1}^n{x}_i}(1-p{)}^{n-{\sum }_{i=1}^n{x}_i}\text{\hspace{1em}(3)}$$
要求$p$使得$L(p)$最大，可将$(3)$两端取对数并关于$p$求导令其为0（这里其实省略了证明$(3)$是一个凹函数的过程），得到似然方程：
$$\frac{\partial L(p)}{\partial p}=0\text{\hspace{1em}(4)}$$
求解$(4)$即可得到$p$的最大似然估计，为
$$\hat{p}=\hat{p}(x_1,\cdots ,x_n)=\frac{1}{n}\sum _{i=1}^n{x}_i=\bar{x}\text{\hspace{1em}(5)}$$