机器学习基础决策树

一夜星尘

于 2021-04-10 22:08:02 发布

阅读量618

点赞数

文章标签：机器学习

本文链接：https://blog.youkuaiyun.com/weixin_43914658/article/details/115585246

版权

决策树

from math import log
import operator

def calcShannonEnt(dataSet):  # 计算数据的熵(entropy)
    """
    计算香农熵
    :param dataSet:
    :return:
    """
    kinds = {
   }  # 总的分类种类以及个数
    kindNum = len(dataSet[0])
    for i in range(len(dataSet)):
        kinds[dataSet[i][kindNum - 1]] = kinds.get(dataSet[i][kindNum - 1], 0) + 1
    shannonEnt = 0  # 香农熵
    for key in kinds:  # 遍历每个类别
        shannonEnt += log(kinds[key] / len(dataSet), 2) * (kinds[key] / len(dataSet))
    return -shannonEnt


def createDataSet():
    dataSet = [['青绿','蜷缩','浊响','清晰','凹陷','硬滑','是'],
               ['乌黑','蜷缩','沉闷','清晰','凹陷','硬滑','是'],
               ['乌黑','蜷缩','浊响','清晰','凹陷','硬滑','是'],