决策树算法详解：从ID3到C4.5-优快云博客

本文链接：https://blog.youkuaiyun.com/weixin_50909683/article/details/121016507

本文详细介绍了决策树算法，包括ID3、C4.5和CART。从挑选好西瓜的例子出发，讲解了决策树的基本原理、信息熵和信息增益，以及如何用Python实现。C4.5对ID3的改进在于信息增益率的使用和处理连续特征和缺失值的方法。CART算法则引入了基尼系数，同时适用于分类和回归任务。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

决策树之挑选好西瓜

一、决策树
决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。Entropy = 系统的凌乱程度，使用算法ID3, C4.5和C5.0生成树算法使用熵。这一度量是基于信息学理论中熵的概念。

决策树是一种树形结构，其中每个内部节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶节点代表一种类别。
样本数据如下：
在这里插入图片描述
二、将txt导入excel
创建一个空的xsl文件，以EXCEL打开：

点击数据中的自文本：

选择要导入的txt文件：

选择分隔符号和字符集：

选择空格：

确定：
在这里插入图片描述
成功导入：

三、用python求解
导入python模块：

import pandas as pd
import numpy as np
from collections import Counter
from math import log2

数据获取和处理函数：

#数据获取与处理
def getData(filePath):
    data = pd.read_excel(filePath)
    return data

def dataDeal(data):
    dataList = np.array(data).tolist()
    dataSet = [element[1:] for element in dataList]
    return dataSet

获取属性名称和类别标记：

#获取属性名称
def getLabels(data):
    labels = list(data.columns)[1:-1]
    return labels
#获取类别标记
def targetClass(dataSet):
    classification = set([element[-1] for element in dataSet])
    return classification

叶节点标记：

#将分支结点标记为叶结点，选择样本数最多的类作为类标记
def majorityRule(dataSet):
    mostKind = Counter([element[-1] for element in dataSet]).most_common(1)
    majorityKind = mostKind[0][0]
    return majorityKind

计算信息熵：

#计算信息熵
def infoEntropy(dataSet):
    classColumnCnt = Counter([element[-1] for element in dataSet])
    Ent = 0
    for symbol in classColumnCnt:
        p_k = classColumnCnt[symbol]/len(dataSet)
        Ent = Ent-p_k*l