EM算法求解混合伯努利模型

本文记录了EM算法求解混合伯努利分布的推导，并提供了matlab实验代码。

混合伯努利分布

单个$D$维伯努利分布的分布率为：

$$p(\mathbf{x}|\boldsymbol{\mu})=\prod_{d=1}^D\mu_d^{x_d}(1-\mu_d)^{1-x_d},$$
这里 $\mathbf{x}=(x_1,\dots,x_D)^T$为 $D$维0-1向量， $\boldsymbol{\mu}=(\mu_1,\dots,\mu_D)^T$为对应维度上事件发生的概率。
混合伯努利分布是指由 $K$个单个 $D$维伯努利分布混合构成的分布，分布率如下：

$$p(\mathbf{x}|\boldsymbol{\mu},\boldsymbol{\pi})=\sum_{k=1}^K\pi_kp(\mathbf{x}|\boldsymbol{\mu}_k),$$
这里 $\boldsymbol{\mu}=\{\boldsymbol{\mu}_1,\dots,\boldsymbol{\mu}_K\},\boldsymbol{\pi}=\{\pi_1,\dots,\pi_K\}$,
$$p(\mathbf{x}|\boldsymbol{\mu}_k)=\prod_{d=1}^D\mu_{kd}^{x_d}(1-\mu_{kd})^{1-x_d}.$$

EM算法混合伯努利分布

现在我们有一个来自于混合伯努利分布的数据集$\mathbf{X}=\{\mathbf{x}_1,\dots,\mathbf{x}_N\}$，我们要最大化其似然函