最大似然估计

最新推荐文章于 2024-01-08 01:26:41 发布

沙漠之狐MSFollower

最新推荐文章于 2024-01-08 01:26:41 发布

阅读量1.5w

点赞数 2

分类专栏：机器学习

本文链接：https://blog.youkuaiyun.com/LiuPeiP_VIPL/article/details/108525137

版权

机器学习专栏收录该内容

32 篇文章

订阅专栏

一、最大似然估计的基本原理：

（1）由于样本是独立地从 $P(x|\theta )$ 中抽取的，所以在概率密度为 $P(x|\theta )$ 时获取样本集 $\varphi$ 的概率即是出现在 $\varphi$ 中的各个样本的联合概率：

$l(\theta)=p(\varphi|\theta)=p(x_1,x_2,...,x_n|\theta)=\sum^{N}_{i=1} p(x_i|\theta)$ 。

这里， $l(\theta)$ 反映的是在不同参数取值下取得当前样本集的可能性。因此，称作参数 $\theta$ 相对于样本集 $\varphi$ 的似然函数。

（2）最大似然估计的目的：我们要在参数空间 $\Gamma$ 中找到一个值 $\theta$ (并且用值 $\hat{ \theta}$ 来表示该估计值)，它能使似然函数 $l(\theta)$ 极大化。一般来说，使似然函数的值最大的 $\hat{ \theta}$ 是样本 $x_1,x_2,...,x_n$ 的函数，记为 $\hat{\theta}=d(x_1,x_2,...,x_n)$ 。我们把 $\hat{\theta}=d(x_1,x_2,...,x_n)$ 叫做 $\theta$ 的最大似然估计量： $\hat{\theta}=argmaxl(\theta)$ 。

（3）最大似然估计的求解：

$H(\theta)=lnl(\theta)=\sum^{N}_{i=1}lnp(x_i|\theta)$

$\frac{H(\theta)}{d(\theta)}=0$

即对于 $\theta=[{\theta}_1,{\theta}_2,...,{\theta}_s]^T$ 时，使得 $\bigtriangledown _{\theta}H(\theta)=0$ 。这其中， $\bigtriangledown _{\theta}=[\frac{\partial}{\partial\theta_1},\frac{\partial}{\partial\theta_2},...,\frac{\partial}{\partial\theta_s}]^T$

二、均匀分布的最大似然估计：

①对于一维随机变量x服从均匀分布：

$p(x|\theta)=\left\{\begin{matrix} \frac{1}{\theta_2-\theta_1} & \theta_1\leq x\leq \theta_2 \\ 0 & others \end{matrix}\right.$

②则从总体分布中抽取N个样本 $x_1,x_2,...,x_N$ 的似然函数为：

$l(\theta)=p(\varphi|\theta)= \left\{\begin{matrix} p(x_1,x_2,...,x_n|\theta_1,\theta_2)=\frac{1}{(\theta_2-\theta_1)^N} & \theta_1\leq x\leq \theta_2 \\ 0 & others \end{matrix}\right.$

③对数似然函数为：

$H(\theta)=-Nlnl(\theta_2-\theta_1)$

④则有

$\left\{\begin{matrix} \frac{\partial H}{\partial \theta_1}=N \cdot \frac{1}{(\theta_2-\theta_1)} & \\ \frac{\partial H}{\partial \theta_2}=-N \cdot \frac{1}{(\theta_2-\theta_1)} & \end{matrix}\right.$

⑤从上述④式可以看出，必有 $\theta_1$ 或者 $\theta_2$ 为无穷大，但这是无意义的结果。则从原式 $p(x|\theta)$ 可以看出， $\theta_2-\theta_1$ 越小时，似然函数越大。如果用 $x^'$ 表示观察值中最小的一个，用 $x^''$ 表示观察值中最大的一个，显然 $\theta_1\leq x^'$ 而 $\theta_2\geq x^''$ 。因此， $\theta_2-\theta_1$ 的最小值只能是 ${x^''}-x^'$ 。

⑥此时 $\theta$ 的最大似然估计量显然有：

$\hat{\theta}_1= {x^'},\hat{\theta}_2=x^''$

三、正态分布下的似然估计：

① 单变量正态分布的形式表现为：

$p(x|\theta)=\frac{1}{\sqrt{2\pi }\sigma}e^{[-\frac{1}{2}(\frac{x-u}{\sigma})^2]}=\frac{1}{\sqrt{2\pi {\sigma}^2 }}e^{[-\frac{1}{2}(\frac{x-u}{\sigma})^2]}$

这里，均值 $u$ 和方差 ${\sigma }^2$ 是未知数，即我们要估计的参数 $\theta=[u,{\sigma}^2]^T=[\theta_1,\theta_2]^T$ ,用于估计的样本为 $\varphi=\{x_1,x_2,...,x_n\}$ 。

② 我们对①式进行对数化，可以得到：

$lnp(x_k|\theta)=-\frac{1}{2}ln2\pi\theta_2-\frac{1}{2\theta_2}(x_k-\theta_1)^2$

③ 分别对 $\theta_1$ 和 $\theta_2$ 求导，则有：

$\bigtriangledown _{\theta_1}lnp(x_k|\theta)=-\frac{1}{2\theta_2}\cdot2(x_k-\theta_1)\cdot(-1)=\frac{x_k-\theta_1}{\theta_2}$

$\bigtriangledown _{\theta_2}lnp(x_k|\theta)=-\frac{1}{2}\cdot\frac{2\pi}{2\pi\theta_2}-(x_k-\theta_1)^2\cdot\frac{1}{2}\cdot(-\frac{1}{\theta_2^2})=\frac{(x_k-\theta_1)^2-\theta_2}{2\theta_2^2}$

④ 于是，最大似然估计应是以下方程组的解：

$\left\{\begin{matrix} \sum^{K}_{k=1} \frac{x_k-\theta_1}{\theta_2}=0& \\ -\sum_{k=1}^{N}\frac{1}{\hat{\theta}_2}+\sum_{k=1}^{N}\frac{(x_k-\hat{\theta}_1)^2}{2\hat{\theta}_2^2}=0& \end{matrix}\right.$

⑤ 因此，我们可以解得：

$\left\{\begin{matrix} \hat{u}=\hat{\theta_1}=\frac{1}{N}\sum^{K}_{k=1}x_k& \\ {\hat{\sigma}^2}={\hat{\theta}_2}=\frac{1}{N}\sum_{k=1}^{N}{(x_k-\hat{u})^2}& \end{matrix}\right.$

进一步可以得到：

$\left\{\begin{matrix} \hat{u}=\frac{1}{N}\sum^{K}_{k=1}x_k& \\ {\hat{\sigma}^2}=\frac{1}{N}\sum_{k=1}^{N}{(x_k-\hat{u})}{(x_k-\hat{u})^T}& \end{matrix}\right.$