分类的特征选择

一篇文档中有很多个词，也就有很多个特征。特征太多会造成计算量大，并且有些特征还是噪音。

特征选择一般按照信息增益依次选择。信息增益按照条件熵计算。假设不选择这个特征，熵是s1，选择后熵为s2，s1-s2即为条件熵。

首先选择最大的信息增益的特征，再在最大信息增益特征的基础上选择次大的。这种方法很不错，但是也很难处理异或问题，比如特征t1的信息增益为0，特征t2的信息增益为0，但是t1和t2的联合却可以很好的分类。按照上面的信息增益的方法，t1和t2都不好入选，但是它们却是分类最好的。