EM算法和GMM高斯混合模型_em算法求身高-优快云博客

---------------七月在线机器学习笔记

通过极大似然估计详细推导EM

似然函数：找出与样本的分布最接近的概率分布模型,即找到可能分布模型的最佳参数 $\theta$

假设分布为 $p(x|\theta)$ ,每个样本相互独立，则 $L=\Pi _ip(x_i|\theta)$

为了简化求导，这里取对数似然函数：

$l(\theta)=\sum_{i=1}^mlog\ \ p(x|\theta)$ (1)

但是，当给定的样本数据是不完整的或者某个特征是不确定的，

如：

在西单商场随机挑选100位顾客，测量这100 位顾客的身高：

若这100个样本服从正态分布N(μ,σ) ，试估计参数μ和σ。

若样本中存在男性和女性顾客，它们服从 N(μ1,σ1)和N(μ2,σ2)的分布，试估计 μ1,σ1,μ2,σ2 。

即，独立样本中含有隐随机变量 z（如，未知性别），这时对数似然函数变为

$\large l(\theta)=\sum_{i=1}^mlog\sum_{z}p(x,z|\theta)$ (2)

由于在对数函数里面又有加和，直接用求导解方程的办法直接求得极大值是很难的。

我们的策略是建立L(θ)的下界，并且求该下界的最大值；重复这个过程，直到收敛到局部最大值。

令 $\large Q_i$ 是z的某一个分布，且 $Q_i(z^{(i)})\geq0 \ \ and\ \ \sum_zQ_i(z^{(i)})=1$

则（2）式等于：

$\large \begin{align*} \sum_ilog\sum_{z}p(x,z|\theta) &=\sum_ilog\sum_{z^{(i)}}p(x^{(i)},z^{(i)}|\theta) \\ &=\sum_ilog\sum_{z^{(i)}}Q_i(z^{(i)})\frac{p(x^{(i)},z^{(i)}|\theta) }{Q_i(z^{(i)})}\\ &\geq \sum_i\sum_{z^{(i)}}Q_i(z^{(i)}) log\frac{p(x^{(i)},z^{(i)}|\theta) }{Q_i(z^{(i)})} \end{align*}$ (3)

Jensen不等式满足 $Q_i\geq0 \ \ and\ \ \sum_zQ_i(z^{(i)})=1$ 条件时，且 $E(x)=\sum x p(x),E(f(x))=\sum f(x)p(x)$ ,

有 $f(E(x))\leq E(f(x))$ ，又log()函数为严格凹函数（二阶导<0）故取 ≥，即

$\large \sum_ilog\sum_{z^{(i)}}Q_i(z^{(i)})\frac{p(x^{(i)},z^{(i)}|\theta) }{Q_i(z^{(i)})}=f(E(x))\geq E(f(x))=\sum_i\sum_{z^{(i)}}Q_i(z^{(i)}) log\frac{p(x^{(i)},z^{(i)}|\theta) }{Q_i(z^{(i)})}$

为了找到尽量接近的下界，使得等号成立的条件是

$\large \frac{p(x^{(i)},z^{(i)}|\theta) }{Q_i(z^{(i)})}=c$

$s.t.\sum_iQ_i(z^{(i)})=1$ （4）

即

$\large \begin{align*} p(x^{(i)},z^{(i)}|\theta) &=cQ_i(z^{(i)}) \\ \Rightarrow \sum_zp(x^{(i)},z^{(i)}|\theta)&=c\sum_zQ_i(z^{(i)}) \\ \Rightarrow \sum_zp(x^{(i)},z^{(i)}|\theta)&= c \end{align*}$

$\large \begin{align*}\Rightarrow Q_i(z^{(i)}) &=\frac{p(x^{(i)},z^{(i)}|\theta)}{\sum_zp(x^{(i)},z|\theta)} \\ &= \frac{p(x^{(i)},z^{(i)}|\theta)}{p(x^{(i)}|\theta)}\\ &= p(z^{(i)}|x^{(i)},\theta) \end{align*}$ （5）