EM算法原理解释及公式推导

原创

于 2020-04-02 16:31:47 发布 · 6.5k 阅读

·

15

·

CC 4.0 BY-SA版权

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

文章标签：

本文深入解析EM算法，探讨其在处理带有隐含变量的数据集时的极大似然估计应用，通过案例详细阐述算法流程及推导过程。

本文参考的是人人都懂EM算法 - August的文章 - 知乎这篇文章

目录

一、极大似然概述

2.1 EM算法描述

2.2 EM公式推导

三、EM算法案例

一、极大似然概述

假设我们需要调查我们学校学生的身高分布。我们先假设学校所有学生的身高服从正态分布 $N(\mu,\sigma^2)$ 。(注意：极大似然估计的前提一定是要假设数据总体的分布，如果不知道数据分布，是无法使用极大似然估计的)，这个分布的均值 $\mu$ 和方差 $\sigma^2$ 未知，如果我们估计出这两个参数，那我们就得到了最终的结果。那么怎样估计这两个参数呢？

学校的学生这么多，我们不可能挨个统计吧？这时候我们需要用到概率统计的思想，也就是抽样，根据样本估算总体。假设我们随机抽到了 200 个人（也就是 200 个身高的样本数据，为了方便表示，下面“人”的意思就是对应的身高）。然后统计抽样这 200 个人的身高。根据这 200 个人的身高估计均值 $\mu$ 和方差 $\sigma^2$ 。

用数学的语言来说就是：为了统计学校学生的身高分布，我们独立地按照概率密度 $p(x|\theta)$ 抽取了 200 个（身高），组成样本集 $X=x_1,x_2,...,x_N$ (其中 $x_i$ 表示抽到的第 $i$ 个人的身高，这里 N 就是 200，表示样本个数)，我们想通过样本集 X 来估计出总体的未知参数 $\theta$ 。这里概率密度 $p(x|\theta)$ 服从高斯分布 $N(\mu,\sigma^2)$ ，其中的未知参数是 $\theta$ 。

那么问题来了怎样估算参数 $\theta$ 呢？

问题一：抽到这 200 个人的概率是多少呢？

由于每个样本都是独立地从 $p(x|\theta)$ 中抽取的，换句话说这 200 个学生随便捉的，他们之间是没有关系的，即他们之间是相互独立的。假如抽到学生 A（的身高）的概率是 $p(x_A|\theta)$ ，抽到学生B的概率是 $p(x_B|\theta)$ ，那么同时抽到男生 A 和男生 B 的概率是 $p(x_A|\theta)$ * $p(x_B|\theta)$ ，同理，我同时抽到这 200 个学生的概率就是他们各自概率的乘积了，即为他们的联合概率，用下式表示：

n 为抽取的样本的个数，本例中 n=200 ，这个概率反映了，在概率密度函数的参数是 $\theta$ 时，得到 X 这组样本的概率。上式中等式右侧只有 $\theta$ 是未知数，所以 L 是 $\theta$ 的函数。

这个函数反映的是在不同的参数 $\theta$ 取值下，取得当前这个样本集的可能性，因此称为参数 $\theta$ 相对于样本集 X 的似然函数（likelihood function），记为 $L(\theta)$ 。

对 L 取对数，将其变成连加的，称为对数似然函数，如下式：

Q：这里为什么要取对数？

取对数之后累积变为累和，求导更加方便
概率累积会出现数值非常小的情况，比如1e-30，由于计算机的精度是有限的，无法识别这一类数据，取对数之后，更易于计算机的识别(1e-30以10为底取对数后便得到-30)。

问题二：学校那么多学生，为什么就恰好抽到了这 200 个人 ( 身高) 呢？

在学校那么学生中，我一抽就抽到这 200 个学生（身高），而不是其他人，那是不是表示在整个学校中，这 200 个人（的身高）出现的概率极大啊，也就是其对应的似然函数 $L(\theta)$ 极大，即

$\hat{\theta}$ 这个叫做 $\theta$ 的极大似然估计量，即为我们所求的值。

问题三：那么怎么极大似然函数？

求 $L(\theta)$ 对所有参数的偏导数，然后让这些偏导数为 0，假设有 n 个参数，就有 n 个方程组成的方程组，那么方程组的解就是似然函数的极值点了，从而得到对应的 $\theta$ 了。

极大似然估计总结

极大似然估计你可以把它看作是一个反推。多数情况下我们是根据已知条件来推算结果，而极大似然估计是已经知道了结果，然后寻求使该结果出现的可能性极大的条件，以此作为估计值。

比如说，

假如一个学校的学生男女比例为 9:1 (条件)，那么你可以推出，你在这个学校里更大可能性遇到的是男生 (结果)；
假如你不知道那女比例，你走在路上，碰到100个人，发现男生就有90个 (结果)，这时候你可以推断这个学校的男女比例更有可能为 9:1 (条件)，这就是极大似然估计。

极大似然估计，只是一种概率论在统计学的应用，它是参数估计的方法之一。说的是已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，通过若干次试验，观察其结果，利用结果推出参数的大概值。

极大似然估计是建立在这样的思想上：已知某个参数能使这个样本出

最低0.47元/天解锁文章

评论 3

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。