半监督学习（三）——混合模型

Semi-Supervised Learning

半监督学习（三）

            方法介绍               

Mixture Models & EM

    无标签数据告诉我们所有类的实例混和在一起是如何分布的，如果我们知道每个类中的样本是如何分布的，我们就能把混合模型分解成独立的类，这就是mixture models背后的机制。今天，小编就带你学习半监督学习的混合模型方法。

混合模型 监督学习   

　　首先，我们来学习概率模型的概念，先来看一个例子：

• Example 1. Gaussian Mixture Model with Two Components

      训练数据来自两个一维的高斯分布，如下图展示了真实的分布以及一些训练样本，其中只有两个有标签数据，分别标记为正负。

       假如我们知道数据来自两个高斯分布，但是不知道参数（均值，方差，先验概率等），我们可以利用数据（有标签和无标签）对两个分布的参数进行估计。注意这个例子中，带标签的两个样本实际上带有误导性，因为它们都位于真实分布均值的右侧，而无标签数据可以帮助我们定义两个高斯分布的均值。参数估计就是选择能 最大限度提高模型生成此类训练数据概率 的参数。

      更规范化地解释：要预测样本x的标签y，我们希望预测值能最大化条件概率p(y|x)，由条件概率的定义，可知对于所有可能的标签y，，且，如果我们想要最小化分类错误率，那么我们的目标函数就是