极大似然估计

矛始

已于 2022-08-01 17:19:36 修改

阅读量9.5k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：机器学习文章标签：概率论数理统计最大似然估计

于 2018-08-03 16:49:39 首次发布

本文为博主原创文章，未经博主允许不得转载。

本文链接：https://blog.youkuaiyun.com/czmacd/article/details/81332538

机器学习专栏收录该内容

3 篇文章

订阅专栏

概率与似然

引用维基百科上对概率与似然的描述

在数理统计学中，似然函数是一种关于统计模型中的参数的函数，表示模型参数中的似然性。似然函数在统计推断中有重大作用，如在最大似然估计和费雪信息之中的应用等等。“似然性”与“或然性”或“概率”意思相近，都是指某种事件发生的可能性
在统计学中，“似然性”和“或然性”或“概率”又有明确的区分。概率用于在已知一些参数的情况下，预测接下来的观测所得到的结果，而似然性则是用于在已知某些观测所得到的结果时，对有关事物的性质的参数进行估计。

以上这段话就概括得还是挺抽象了，"概率"和"似然"其实是从不同的角度去看待事件发生的可能性。以抛一枚硬币为例子(随机变量是离散型)，样本空间 $Ω={正,反}\Omega =\lbrace 正,反 \rbrace$ 、对于随机变量 $X$ ，当 $w =$ "正"时，观察值 $x_1=X=1$ ；当 $w =$ "反"时有观察值 $x_2=X=0$ 、 $θ={均质,非均质}\theta=\lbrace 均质,非均质 \rbrace$ ，有以下分布律(叫概率函数更容易理解吧)
$P(x_i;θ)$
$P(x_i;θ)$ 是函数模型， $x_i$ 表示一个具体的样本观察值； $θ$ 表示模型的参数。

如果 $θ$ 是已知确定的(均质)， $x_i$ 是变量，这个函数叫做概率函数(probability function)，它描述对于出现出面还是反面，其出现的可能性(概率)是多少。
如果 $x_i$ 是已知确定的(正面向上)， $θ$ 是变量(未确定硬币的质量分布，不同的分布可能导致硬币更容易正面向上或反面向上)，这个函数叫做似然函数(likelihood function), 它描述对于不同的质量分布，出现下面向上这种情况可能性(似然)是多少。

概率是给定某一参数值，求某一结果的可能性；似然是给定某一结果，求某一参数值的可能性。

似然函数

似然函数是一种关于统计模型中的参数的函数，分别就总体 $ξ\xi$ 是离散型分布以及连续型分布的情况说明似然函数的形式,设 $x_1,x_2......x_n$ 是取自总体 $ξ\xi$ 的一个样本

设总体 $ξ\xi$ 为离散型分布，其分布律为
$P(ξ=xi)=p(xi;θ)(i=1,2,3,...,n)P(\xi=x_i)=p(x_i;\theta) \quad (i=1,2,3,...,n)$
其中 $θ\theta$ 为未知参数，对给定的样本观察值 $x_1,x_2......x_n$ ，令
$L(x1,x2,...,xn;θ)=∏i=1np(xi;θ)i≥1L(x_1,x_2,...,x_n;\theta)=\prod_{i=1}^np(x_i;\theta) \quad i \ge 1$

若总体为连续分布，其密度函数为 $f(x;θ)f(x;\theta)$ ，其中 $θ\theta$ 为未知参数，对给定的样本观察值 $x_1,x_2,...,x_n$ (已发生的，确定的)，令
$L(x1,x2,...,xn;θ)=∏i=1nf(xi;θ)i≥1L(x_1,x_2,...,x_n;\theta)=\prod_{i=1}^nf(x_i;\theta) \quad i \ge 1$

可以看出，似然函数 $(x1,x2,...,xn;θ)(x_1,x_2,...,x_n;\theta)$ 是未知参数 $θ\theta$ 的函数，它反映了对给定的样本观察值被取到的可能性(对于不同的 $θ\theta$ 被取到的可能性不同)，我们所关注的是，什么情况下最有可能取到，当似然函数值最大的时候表示可能性达到最大，此时也会对应得到一个具体的参数 $θ\theta$ ，如果用 $θ^\hat \theta$ 表示，那么就称 $θ^\hat \theta$ 为 $θ\theta$ 的最大似然估计，即
$L(x1,x2,...,xn;θ^)=maxL(x1,x2,...,xn;θ)L(x_1,x_2,...,x_n;\hat \theta)=maxL(x_1,x_2,...,x_n;\theta)$

最大似然估计是根据已知的样本的结果，反向推测最有可能得到这样结果的模型的参数值。

了解了最大似然估计的意义，下面就是求最大值的数学问题，一般通过求导数来解。

实例计算

首先来约定一个表达式 $d−>P_x(0<x<1)$ ，它表示：硬币质量分布为 $d$ 时，此时随机抛一次得到正面向上的概率 $p = x$

如果我们知道硬币是均质的( $d->P_{0.5}$ )，那么"抛10次得到6次正面向上"的概率约为0.205

问题：如果在不知道硬币的质量分布 $θ\theta$ 的情况下进行了10次试验，最终也是得到6次正面向上的结果(1,0,1,1,0,0,0,1,1,1)，那么能不能得到硬币的质量分布最可能是怎么样的???

1.找到分布律

抛硬币试验服从二项分布，总体可以看成无限大(无穷无尽地抛下去)，质量分布未知时，出现正面向上的概率为p，则反面向上的概率为1-p,出现下面向上的次数 $ξ\xi$ 是二项分布随机变量，其它取值可能是：0，1，2，…，k，…，n；有如下分布律
$P(ξ=k)=Cnkpk(1−p)n−kP(\xi=k)=C_n^kp^k(1-p)^{n-k}$
其中n表示抛n次，k表示得到k次正面向上

2.写出似然函数
$L(1,0,1,1,0,0,0,1,1,1;θ)=P(ξ=6)=C106p6(1−p)4L(1,0,1,1,0,0,0,1,1,1;\theta)=P(\xi=6)=C_{10}^6p^6(1-p)^4$

3.求导数
对上式取对数得到对似然方程
$lnL(1,0,1,1,0,0,0,1,1,1;θ)=lnC106+6lnp+4ln(1−p)lnL(1,0,1,1,0,0,0,1,1,1;\theta)=lnC_{10}^6+6lnp+4ln(1-p)$
再对p进行求导
$dlnLdp=6p−41−p=0\frac{dlnL}{dp}=\frac{6}{p}-\frac{4}{1-p}=0$
解得 $p = 0.6$ ，它的意思是，硬币的质量分布为 $d->P_{0.6}$ 时，最有可能出现“抛10次得到6次正面向上”这种结果

如果不使用最大似然估计的解法，把各种质量分布情况下得到“抛10次得到6次正面向上”这种结果的可能性列举出来，可以看到 $d->P_{0.6}$ 时最有可能，而出现这种结果且硬币是匀质( $d−>P_{0.5}$ )的可能性为0.205078125

质量分布	抛10次得到6次正面向上的概率
$d−>P_{0.1}$	0.000137781
$d−>P_{0.2}$	0.005505024
$d−>P_{0.3}$	0.0367569
$d−>P_{0.4}$	0.111476736
$d−>P_{0.5}$	0.205078125
$d−>P_{0.6}$	`0.250822655`
$d−>P_{0.7}$	0.200120949
$d−>P_{0.8}$	0.088080383
$d−>P_{0.9}$	0.011160260

参考

1.《概率论与数理统计》郝志峰谢国瑞汪国强
2. 概率（probability)、似然（likelihood)、极大似然法：http://blog.sina.com.cn/s/blog_e8ef033d0101oa4k.html)
3. 似然（likelihood）与概率（probability）的区别：http://yangfangs.github.io/2018/04/06/the-different-of-likelihood-and-probability/