em算法

在半监督学习中，根据数据，可以进一步分为LU学习算法和PU学习算法。

如果得到的数据集中，包含的是一部分labeled record 和 unlabeled record。我们称之为LU学习算法；如果得到的是positive record（正例）和unlabeled record，称为PU算法。

对于LU学习，学习思想一般是EM（最大期望）和CO_TRANING。当数据集的属性是互相独立的时候，可以用后者。

EM算法一般分为四部：

第一步，利用已有的带类标数据构建某个分类器。

第二部，从不带类标的数据中取出一条记录，利用分类器对这个记录进行预测。并将结果加入到带类标的数据集中。

第三部，利用已有的数据集重新构建分类器。

第四部，不断的重复第二部和第三部，直到构建的分类器基本不变，或者数据集中所有的数据都被打上类标。

构建的分类器，可以使决策树，可以是朴素贝叶斯分类器。总之，EM算法的实现，需要和某个监督学习算法结合起来。

对于CO_TRANING 算法，一般是将属性分为几个部分，各部分单独构建分类器。最后将几个基分类器的分类结果进行综合。

综合操作一般包括：取置信度最大的那个，求和，加权打分等。