机器学习-周志华-个人练习13.3

13.3 假设数据由混合专家（mixture of experts）模型生成，即数据是基于$k$个成分混合而得的概率密度生成：

$$p(\mathbf x \mid \theta) = \sum_{i=1}^k \alpha_i p(\mathbf x \mid \theta_i) \tag{13.22}$$
其中， $\theta=\{\theta_1,\theta_2,\ldots,\theta_k \}$是模型参数， $p(\mathbf x \mid \theta_i)$是第 $i$ 个混合成分的概率密度，混合系数 $\alpha_i \ge 0,\sum_{i=1}^k \alpha_i=1$。假设每个混合成分对应一个类别，但每个类别可能包含多个混合成分。试推导相应的生成式半监督学习算法。

---

首先，我们假定:

• 数据$X$ 包含$M=l+u$ 个样本：$X=\{\mathbf x_j\},j=1,\ldots,M$
• 所有样本中共有$\vert \mathcal C \vert$个类别：$c_j$表示样本的类别，$c_j \in \mathcal C$
• 混合模型含有$N$个混合成分，$\{m_j=i\},i=1,\ldots,N$表示样本$\mathbf x_j$可能的混合成分，$\theta_i$表示对应混合成分的模型参数，则相应模型可以表示为$f(\mathbf x_j \mid \theta_i)=p(\mathbf x_j \mid m_j=i, \theta_i)=p(\mathbf x_j \mid \theta_i)$

则与书上公式$(13.4)$类似，在此处：

$$\begin{align} LL(D_l\cup D_u)&=\sum_{(\mathbf x_i,c_j) \in D_l}\ln p(\mathbf x_j,c_j \mid \theta)+\sum_{\mathbf x_i \in D_u}\ln p(\mathbf x_j \mid \theta) \\ &=\sum_{(\mathbf x_i,c_j) \in D_l}\ln\sum_{i=1}^N \alpha_ip(c_j \mid \mathbf x_j, m_j=i, \theta_i)p(\mathbf x_j \mid m_j=i, \theta_i)+\sum_{\mathbf x_i \in D_u}\ln \sum_{i=1}^N \alpha_i p(\mathbf x_j \mid m_j=i, \theta_i) \\ &=\sum_{(\mathbf x_i,c_j) \in D_l}\ln\sum_{i=1}^N \alpha_ip(c_j \mid \mathbf x_j, m_j=i, \theta_i)f(\mathbf x_j \mid \theta_i)+\sum_{\mathbf x_i \in D_u}\ln \sum_{i=1}^N \alpha_i f(\mathbf x_j \mid \theta_i) \tag{1} \end{align}$$
接下来介绍一下题目中所说的 每个类别可包含多个混合成分的混合模型的具体表示。

首先，我们知道：

$$p(m_j=i \mid \mathbf x_j)={{\alpha_i \cdot p(\mathbf x_j \mid \theta_i)}\over{\displaystyle \sum_{i=1}^N \alpha_i \cdot p(\mathbf x_j \mid \theta_i)}} \tag{2}$$
根据( D. J. Miller and H. S. Uyar, 1996)的观点，主要有两种混合方法：

划分混合模型(The “Partitioned” Mixture Model, PM)：
混合组分与各个类别具有硬划分的关系，即$M_i \in C_k$，其中$M_i$代表混合组分$i$，也就是说各个类别是由特定的混合组分组合而成，$C_k$代表类别$k$具有的混合组分形成的集合，混合模型后验概率为：

$$p(c_j=k\mid\mathbf x_j)={{\displaystyle \sum_{i=1 \land M_i \in C_k}^N\alpha_i \cdot p(\mathbf x_j \mid \theta_i)}\over{\displaystyle \sum_{i=1}^N \alpha_i \cdot p(\mathbf x_j \mid \theta_i)}} \tag{3}$$

广义混合模型(The Generalized Mixture Model, GM)：
每个混合组分$i \in \{1,\ldots, K \}$都有可能是形成某个类别$k$的一个混合成分，定义

$$p(c_j\mid m_j,\mathbf x_j)=p(c_j\mid m_j)=\beta_{c_j\mid m_j}\tag{4}$$ ，其中第二项成立是因为 $\beta_{c_j\mid m_j}$与具体的 $\mathbf x_j$取值无关。在此基础上可知，混合模型后验概率为：

$$p(c_j\mid\mathbf x_j)={{\displaystyle \sum_{i=1}^N\left(\alpha_i \cdot p(\mathbf x_j \mid \theta_i)\right)\beta_{c_j\mid i}}\over{\displaystyle \sum_{i=1}^N \alpha_i \cdot p(\mathbf x_j \mid \theta_i)}} \tag{5}$$
显然，令 GM中真正属于 $c_j$的混合成分 $i$ 均为 $\beta_{c_j\mid i}=1$，其他 $\beta_{c_j\mid i}=0$，则此时广义混合模型退化为 PM。

在这里，我们采用GM ，采用高斯分布作为混合成分，来推导EM算法的更新参数。
显然，此时：

$$f(\mathbf x_j \mid \theta_i)=p(\mathbf x_j \mid \theta_i)=p(\mathbf x_j \mid \mu_i,\Sigma_i)\tag{*}$$
则 $(1)$变为：

LL(Dl∪Du)=∑(xi,cj)∈Dlln∑i=1Nαip(cj∣xj,mj=i,μi,Σi)p(xj∣μi,Σi)+∑xi∈Duln∑i=1