机器学习实战决策树（一）——信息增益与划分数据集

搞数据的统计女孩

于 2018-10-27 19:50:58 发布

阅读量1.1k

点赞数

CC 4.0 BY-SA版权

分类专栏：机器学习

本文链接：https://blog.youkuaiyun.com/Tracy1226/article/details/83449082

from math import log
#计算给定的熵
def calcsahnnonent(dataset):
        numentries = len(dataset)     #计算实例的总数
        labelcounts ={}
        #创建一个数据字典
        for featvec in dataset:
            currentlabel = featvec[-1]    #键值是最后一列数值                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                       
            if currentlabel not in labelcounts.keys():  #为所有可能的分类创建字典。使用的是字典中key（）方法
                labelcounts[currentlabel]= 0
            labelcounts[currentlabel] += 1
        shannonent =