李航统计学习采用C4.5算法构建决策树

最新推荐文章于 2023-07-02 20:14:57 发布

only卉

最新推荐文章于 2023-07-02 20:14:57 发布

阅读量526

点赞数

本文链接：https://blog.youkuaiyun.com/weixin_40230767/article/details/79082452

版权

本文展示了如何基于C4.5算法构建决策树。通过计算香农熵、选择最佳特征、分裂数据集和创建决策树节点，实现了决策树的构建过程。算法理论参考了李航的统计学习方法，代码部分参考了机器学习实战并进行了优化以符合C4.5算法的要求。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

from numpy import *
from math import log
import operator

def calcShannonEnt(dataset):
    numdataset=len(dataset)
    labelCount={}
    for data in dataset:
        curlabel=data[-1]
        if curlabel not in labelCount.keys():
            labelCount[curlabel]=0
        labelCount[curlabel]+=1
    shannonEnt=0.0
    for key in labelCount:
        prob=float(labelCount[key])/numdataset
        shannonEnt-=prob*log(prob,2)
    return shannonEnt

def creatDataSet():
    dataset=[['青年','否','否','一般','否'],
             ['青年','否','否','好','否'],
             ['青年','是','否','好','是'],
             ['青年','是','是','一般','是'],
             ['青年','否','否','一般','否'],
             ['中年','否','否','一般',