EM算法及例题详解_em算法题目-优快云博客

本文链接：https://blog.youkuaiyun.com/watermelon12138/article/details/90549387

一、简介

EM（Expectation-Maximum）算法也称期望最大化算法，曾入选“数据挖掘十大算法”中，可见EM算法在机器学习、数据挖掘中的影响力。EM算法是最常见的隐变量估计方法，在机器学习中有极为广泛的用途，例如常被用来学习高斯混合模型（Gaussian mixture model，简称GMM）的参数；隐式马尔科夫算法（HMM）、LDA主题模型的变分推断等等。本文就对EM算法的原理做一个详细的总结。

二、EM算法推导

一般的用Y=(y₁, y₂,…, y_n)表示观测数据，用H=(h₁, h₂,…,h_n)表示隐变量数据，用Z(z₁, z₂, … , z_m)表示每个h_i的所有可能取值的集合，所以Z可以称之为隐变量分布，因为每个h_j都来自Z。
观测数据Y是我们可以直接看见并使用的，但是隐藏数据H我们却不知道，所以我们只能求观测数据Y的对数似然函数log P(Y；θ)的极大化来求最优参数θ。

##########分析一下观测数据Y、隐变量数据H和隐变量分布Z之间的关系###########
隐变量数据H和观测数据Y之间的关系如下：
观测数据 y_j 在隐变量数据 h_j 的基础上得到，其中h_j∈Z。最重要的是观测数据Y可知，隐变量分布Z也可知，但是隐变量数据H不可知。

这里举一个隐变量数据和观测数据的例子，假设有3枚硬币A, B, C，我们先抛硬币A，根据硬币A的结果决定接下来抛硬币B还是硬币C。如果硬币A正面朝上，我们就抛硬币B，若硬币B正面朝上记y_j=1，若硬币B反面朝上记y_j=0；如果硬币A反面朝上，我们就抛硬币C，若硬币C正面朝上记y_j=1，若硬币C反面朝上记y_j=0。假设进行5次上述试验，我们得到 观测数据Y=(1, 0, 0, 0, 1)，如果用H=(h₁, h₂, h₃, h₄, h₅)表示隐变量数据，那么每个h_i的所有可能取值的集合Z=(A正，A反)，所以H有2⁵ 种可能，隐变量数据可以是H=(A正，A正，A反，A正，A反) ，这只是2⁵ 中的一种。