利用决策树分类时划分数据集的特征的选取：信息增益

在利用决策树进行类别划分时，如果每个实例均有多个特征，那么在决策树每一个分支到底利用哪个特征进行类别划分呢？《机器学习实战》这本书提到一种方法，哪就是选取的特征要能使信息增益最大（信息熵的变化）。首先我们要根据分类标签计算出原始的信息熵，如有一堆实例，它们可以划分成鱼类和非鱼类（鱼类，非鱼类即分类标签），假设鱼类的实例个数是2，非鱼类的实例个数是3，那么由信息论的知识可知原始的信息熵为0.970950594455。接着我们分别以每个特征把这些实例分类，再根据分类标签（鱼非鱼）计算其信息熵，他们与原始信息熵的差值便是信息增益，选取使信息增益大的那个特征作为最好的划分数据集的特征。