TASK3 EM

对概率论一些表示符号的解释

• $P(x|\theta )$和$P(x;\theta )$的比较
  • $P(x|\theta )$表示条件概率
  • 当$P(x|\theta )$不代表条件概率时与$P(x;\theta )$等价，此时$\theta$不是一个随机变量，而是一个代估参数（$\theta$是固定的，只是当前未知）
  • 两者都表示在给定参数$\theta$时$P(x)$的概率。

EM算法步骤

输入：观测变量数据Y，隐变量数据Z，联合分布$P(Y,Z|\theta )$，条件分布$P(Z|Y,\theta )$；
输出：模型参数$\theta$

• (1)选择参数的初值${\theta }^0$，开始迭代

• (2) E步：记${\theta }^i$为第i次迭代参数$\theta$的估计值，在第i+1次迭代的E步，计算
  $$\begin{array}{rl}Q(\theta ,{\theta }^i)& =E_Z[logP(Y,Z|\theta )|Y,{\theta }^i]\\ & =\sum _{Z}logP(Y,Z|\theta )P(Z|Y,{\theta }^i)\end{array}$$
  这里，$P(Z|Y,{\theta }^i)$是在给定观测数据Y和当前的参数估计${\theta }^i$下隐变量数据Z的条件概率分布；

• (3) M步：求使$Q(\theta ,{\theta }^i)$极大化的$\theta$，确定第i+1次迭代的参数的估计值${\theta }^{i+1}$，
  $${\theta }^{i+1}=arg\underset{\theta }{\max }Q(\theta ,{\theta }^i)$$
  $Q(\theta ,{\theta }^i)$是EM算法的核心，称为Q函数(Q function)，这个是需要自己构造的。

• (4) 重复第(2)步和第(3)步，直到收敛，收敛条件：
  $$||{\theta }^{i+1}-{\theta }^i||<{\epsilon }_1$$
  或者：
  $$||Q({\theta }^{i+1},{\theta }^i)-Q({\theta }^i,{\theta }^i)||<{\epsilon }_2$$
  收敛迭代就结束了。

其他有待补充