【分类算法】ID3算法超详细讲解

数据结构与算法之ID3算法 阅读详情

ID3算法超详细讲解(附Python完整实现+可视化)

ID3算法(Iterative Dichotomiser 3)是机器学习中经典的决策树分类算法,由Ross Quinlan在1986年提出,是决策树算法的入门基础。它基于信息论中的信息增益选择最优划分特征,通过递归的方式构建决策树,核心逻辑简单直观,可解释性强,是本科生和研究生学习决策树、信息论在机器学习中应用的核心内容,也是后续C4.5、CART等决策树算法的基础。

本文将从通俗原理、核心理论推导、完整算法流程、Python实战实现、优缺点与适用场景五个维度展开,内容通俗易懂,公式做详细拆解,附带可直接运行的代码和可视化效果,适配本科课程学习和研究生入门实践。

一、什么是ID3算法?(通俗理解)

ID3算法的核心是“不断挑选最关键的特征,用特征层层划分数据,直到得到明确的分类结果”,就像我们日常通过线索做判断的过程,用一个侦探断案的例子就能轻松理解:

侦探要判断案件是「事故」还是「犯罪」,有4个线索:天气、地点、目击者数量、时间段。

  1. 先挑最关键的线索:目击者数量的信息增益最高,能最清晰区分案件类型,优先用它划分;
  2. 第一层划分:目击者数量=0 → 大概率是事故;目击者数量≥3 → 大概率是犯罪;
  3. 再挑次关键线索:在“目击者数量=1-2”的子集中,用“时间段”继续划分;
  4. 层层递归:每次都选当前子集中信息增益最高的特征,直到所有样本都被分到明确的类别。

这个过程就是ID3算法的核心逻辑,最终会形成一棵决策树:

  • 非叶节点:代表划分特征(如目击者数量、时间段);
  • 分支:代表特征的取值(如0、≥3、夜晚、白天);
  • 叶节点:代表最终的分类结果(如事故、犯罪)。

简单来说,ID3算法就是一套基于“信息增益”选择最优特征,递归构建树形分类规则的方法,把复杂的分类问题拆解为层层递进的简单判断,最终从数据中提炼出清晰的分类逻辑。

二、ID3的核心理论基础(信息论)

ID3算法的特征选择、节点划分完全基于信息论的两个核心概念:信息熵和信息增益。用这两个指标量化“数据的混乱程度”和“特征的分类能力”,让计算机能客观选择最优划分特征,而非人工主观判断。

2.1 信息熵(Entropy):衡量数据的“混乱程度”

信息熵是信息论的核心概念,用于衡量一个数据集的不确定性/混乱程度:

  • 数据集的样本类别越混乱(各类别样本占比接近),熵越大;
  • 数据集的样本完全纯净(所有样本属于同一类别),熵为0;
  • 熵的取值越大,说明数据的分类难度越高。
信息熵的计算公式

假设数据集SSS包含nnn个样本,共有ccc个不同的类别C1,C2,...,CcC_1,C_2,...,C_cC1​,C2​,...,Cc​,第iii类样本的数量为∣Si∣|S_i|∣Si​∣,总样本数为∣S∣|S|∣S∣,则第iii类样本的概率pi=∣Si∣∣S∣p_i = \frac{|S_i|}{|S|}pi​=∣S∣∣Si​∣​,数据集SSS的信息熵为:
H(S)=−∑i=1cpilog⁡2piH(S) = -\sum_{i=1}^{c} p_i \log_2 p_iH(S)=−i=1∑c​pi​log2​pi​
其中:

  • H(S)H(S)H(S):数据集SSS的信息熵,单位为比特(bit);
  • log⁡2\log_2log2​:以2为底的对数,是信息论中熵的标准计算方式;
  • 若pi=0p_i=0pi​=0,则pilog⁡2pi=0p_i\log_2 p_i=0pi​log2​pi​=0(避免对数无意义)。
关键结论
  1. 纯数据集:H(S)=0H(S)=0H(S)=0(如所有样本都是“事故”,无不确定性);
  2. 二分类数据集:当正、负样本各占50%时,熵最大,H(S)=1H(S)=1H(S)=1;
  3. 熵的取值范围:0≤H(S)≤log⁡2c0 \leq H(S) \leq \log_2 c0≤H(S)≤log2​c(ccc为类别数)。
简单举例

二分类数据集SSS有10个样本,6个“事故”、4个“犯罪”,其信息熵为:
H(S)=−(610log⁡2610+410log⁡2410)≈0.97H(S) = -(\frac{6}{10}\log_2\frac{6}{10} + \frac{4}{10}\log_2\frac{4}{10}) \approx 0.97H(S)=−(106​log2​106​+104​log2​104​)≈0.97
若数据集是5个“事故”、5个“犯罪”,则熵为1,混乱程度更高,分类难度更大。

2.2 条件熵(Conditional Entropy):按特征划分后的平均混乱程度

条件熵表示在给定某一特征AAA的条件下,数据集SSS的平均不确定性,记为H(S∣A)H(S|A)H(S∣A)。简单来说,就是用特征AAA划分数据后,所有子数据集的熵的加权平均值,权重为每个子数据集的样本数占原数据集的比例。

条件熵的计算公式

假设特征AAA有vvv个不同的取值a1,a2,...,ava_1,a_2,...,a_va1​,a2​,...,av​,用特征AAA将数据集SSS划分为vvv个子集S1,S2,...,SvS_1,S_2,...,S_vS1​,S2​,...,Sv​(SjS_jSj​表示特征AAA取aja_jaj​的样本集合),则条件熵为:
H(S∣A)=∑j=1v∣Sj∣∣S∣H(Sj)H(S|A) = \sum_{j=1}^{v} \frac{|S_j|}{|S|} H(S_j)H(S∣A)=j=1∑v​∣S∣∣Sj​∣​H(Sj​)
其中:

  • ∣Sj∣∣S∣\frac{|S_j|}{|S|}∣S∣∣Sj​∣​:子集SjS_jSj​的样本数占原数据集SSS的比例(加权系数);
  • H(Sj)H(S_j)H(Sj​):子集SjS_jSj​的信息熵。
物理意义

条件熵H(S∣A)H(S|A)H(S∣A)越小,说明用特征AAA划分数据后,各个子数据集的混乱程度越低,特征AAA的分类能力越强。

2.3 信息增益(Information Gain):特征带来的“混乱度减少量”

信息增益是ID3算法选择最优特征的核心指标,衡量的是引入特征AAA后,数据集SSS的不确定性减少的程度,记为G(S,A)G(S,A)G(S,A)。

信息增益的计算公式

信息增益 = 原数据集的熵 - 按特征AAA划分后的条件熵,即:
G(S,A)=H(S)−H(S∣A)G(S,A) = H(S) - H(S|A)G(S,A)=H(S)−H(S∣A)

关键结论
  1. 信息增益越大,说明特征AAA划分数据后,数据集的混乱程度降低得越多,特征AAA的分类能力越强;
  2. ID3算法的核心规则:选择信息增益最大的特征作为当前节点的划分特征;
  3. 若信息增益为0,说明特征AAA无法降低数据集的不确定性,该特征无分类价值。
简单举例

原数据集SSS的熵H(S)=0.97H(S)=0.97H(S)=0.97,用特征“目击者数量”划分后的条件熵H(S∣A)=0.23H(S|A)=0.23H(S∣A)=0.23,则该特征的信息增益:
G(S,A)=0.97−0.23=0.74G(S,A) = 0.97 - 0.23 = 0.74G(S,A)=0.97−0.23=0.74
若用特征“天气”划分后的条件熵H(S∣A)=0.85H(S|A)=0.85H(S∣A)=0.85,则信息增益为0.12,显然“目击者数量”的分类能力更强。

三、ID3算法的完整流程

ID3算法的本质是自顶向下、递归构建决策树的过程,从根节点(整个训练集)开始,每次选择信息增益最大的特征划分数据,生成子节点,再对每个子节点重复该过程,直到满足停止条件,最终形成一棵完整的决策树。

3.1 算法输入与输出

  • 输入:训练数据集SSS、特征集合AAA、样本的类别标签集合CCC;
  • 输出:一棵用于分类的决策树。

3.2 详细执行步骤

Step 1:计算根节点的信息熵
根据样本的类别标签,计算整个训练数据集SSS的信息熵H(S)H(S)H(S),作为初始的混乱程度。

Step 2:计算每个特征的信息增益
对特征集合AAA中的每一个特征AiA_iAi​,依次执行:

  1. 根据特征AiA_iAi​的所有取值,将数据集SSS划分为若干个子集S1,S2,...,SvS_1,S_2,...,S_vS1​,S2​,...,Sv​;
  2. 计算每个子集SjS_jSj​的信息熵H(Sj)H(S_j)H(Sj​);
  3. 计算特征AiA_iAi​的条件熵H(S∣Ai)H(S|A_i)H(S∣Ai​);
  4. 计算特征AiA_iAi​的信息增益G(S,Ai)=H(S)−H(S∣Ai)G(S,A_i) = H(S) - H(S|A_i)G(S,Ai​)=H(S)−H(S∣Ai​)。

Step 3:选择最优划分特征

  1. 从所有特征中,选择信息增益最大的特征AbestA_{best}Abest​作为当前节点的划分特征;
  2. 若所有特征的信息增益都小于设定的阈值(如0.01),说明没有特征能有效划分数据,直接进入停止条件。

Step 4:构建当前划分节点

  1. 用最优特征AbestA_{best}Abest​创建决策树的非叶节点;
  2. 根据AbestA_{best}Abest​的不同取值,为当前节点生成对应的分支,每个分支对应一个子数据集SjS_jSj​。

Step 5:递归构建子树
对每个分支对应的子数据集SjS_jSj​,递归执行Step 1-Step 4,注意:已使用的特征会从特征集合AAA中移除,不再参与后续划分。

Step 6:触发停止条件,生成叶节点
当某个子数据集满足以下任一条件时,停止递归,将该节点设为叶节点,叶节点的分类结果为该子集中占比最大的类别:

  1. 子数据集中的所有样本都属于同一类别(熵为0);
  2. 特征集合AAA已用尽,没有剩余特征可用于划分;
  3. 子数据集的样本数小于设定阈值(如5),继续划分会导致过拟合;
  4. 所有特征的信息增益都接近0,无法有效划分数据。

Step 7:输出决策树
当所有节点都完成构建(非叶节点/叶节点),得到一棵完整的决策树,可用于新样本的分类预测。

3.3 决策树的预测逻辑

对于新的待分类样本,从决策树的根节点开始,根据样本的特征取值,沿着对应的分支向下遍历,直到到达叶节点,叶节点的类别即为该样本的预测分类结果。

例如:新样本的“目击者数量=0”,从根节点沿该分支直接到达叶节点,预测结果为“事故”;新样本的“目击者数量=2,时间段=夜晚”,沿分支逐层遍历,最终到达叶节点“犯罪”。

四、ID3算法的Python完整实现(附可视化)

本次实战基于经典的网球运动预测数据集(判断不同天气条件下是否适合打网球),使用Python+sklearn实现ID3算法,包含数据构建、预处理、模型训练、信息增益可视化、决策树可视化、新样本预测全流程,代码可直接复制运行,注释详细,适配Python3.7+、sklearn1.0+。

4.1 实战目标

  1. 基于天气特征(天气、温度、湿度、风力)构建ID3决策树,预测“是否适合打网球”;
  2. 计算并可视化每个特征的信息增益,验证ID3的特征选择逻辑;
  3. 可视化决策树结构,直观展示分类规则;
  4. 用新样本测试模型,实现分类预测,并通过调整参数优化模型。

4.2 完整代码与注释

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
# 决策树模型(criterion='entropy'即为ID3算法)
from sklearn.tree import DecisionTreeClassifier, plot_tree
# 标签编码器:将离散特征的字符串值转为数值
from sklearn.preprocessing import LabelEncoder
# 模型准确率评估
from sklearn.metrics import accuracy_score

# 解决中文显示问题
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False

# ===================== 1. 构建数据集(网球运动预测) =====================
# 特征:Weather(天气)、Temperature(温度)、Humidity(湿度)、Windy(风力)
# 目标值:PlayTennis(是否打网球,Yes/No)
data = {
    'Weather': ['Sunny', 'Sunny', 'Overcast', 'Rainy', 'Rainy', 'Rainy', 
                'Overcast', 'Sunny', 'Sunny', 'Rainy', 'Sunny', 'Overcast', 
                'Overcast', 'Rainy'],
    'Temperature': ['Hot', 'Hot', 'Hot', 'Mild', 'Cool', 'Cool', 'Cool', 
                    'Mild', 'Cool', 'Mild', 'Mild', 'Mild', 'Hot', 'Mild'],
    'Humidity': ['High', 'High', 'High', 'High', 'Normal', 'Normal', 'Normal', 
                 'High', 'Normal', 'Normal', 'Normal', 'High', 'Normal', 'High'],
    'Windy': ['False', 'True', 'False', 'False', 'False', 'True', 'True', 
              'False', 'False', 'False', 'True', 'True', 'False', 'True'],
    'PlayTennis': ['No', 'No', 'Yes', 'Yes', 'Yes', 'No', 'Yes', 'No', 
                   'Yes', 'Yes', 'Yes', 'Yes', 'Yes', 'No']
}
df = pd.DataFrame(data)
print("原始数据集:")
print(df)

# ===================== 2. 数据预处理:离散特征数值化 =====================
# ID3仅支持离散特征,需将字符串类型的特征/目标值转为数值(0,1,2...)
le = LabelEncoder()
for column in df.columns:
    df[column] = le.fit_transform(df[column])

# 分离特征矩阵X和目标值向量y
X = df[['Weather', 'Temperature', 'Humidity', 'Windy']]
y = df['PlayTennis']
feature_names = ['天气', '温度', '湿度', '风力']  # 特征名(可视化用)
class_names = ['不打', '打']  # 类别名(可视化用)
print("\n数值化后的特征:")
print(X.head())

# ===================== 3. 构建ID3决策树模型 =====================
# sklearn中DecisionTreeClassifier设置criterion='entropy'即为ID3算法
# max_depth=3:限制树的最大深度,防止过拟合
id3_model = DecisionTreeClassifier(
    criterion='entropy',  # 熵准则,对应ID3的信息增益
    max_depth=3,          # 预剪枝:最大深度3
    random_state=42       # 随机种子,保证结果可复现
)
# 训练模型
id3_model.fit(X, y)

# ===================== 4. 计算并可视化每个特征的信息增益 =====================
# 步骤1:计算原数据集的总熵H(S)
p = np.bincount(y) / len(y)  # 计算每个类别的概率
H_S = -np.sum(p * np.log2(p + 1e-9))  # +1e-9避免log2(0)

# 步骤2:遍历每个特征,计算信息增益
info_gain = []
for i in range(X.shape[1]):
    feature_vals = X.iloc[:, i]
    unique_vals = np.unique(feature_vals)
    H_S_A = 0  # 初始化条件熵
    # 计算每个特征取值对应的子集的熵,加权得到条件熵
    for val in unique_vals:
        subset_y = y[feature_vals == val]
        p_sub = np.bincount(subset_y) / len(subset_y)
        H_sub = -np.sum(p_sub * np.log2(p_sub + 1e-9))
        H_S_A += (len(subset_y) / len(y)) * H_sub
    # 计算信息增益
    ig = H_S - H_S_A
    info_gain.append(ig)

# 可视化信息增益(柱状图)
plt.figure(figsize=(8, 6))
plt.bar(feature_names, info_gain, color=['#FF6B6B', '#4ECDC4', '#45B7D1', '#96CEB4'], alpha=0.8)
plt.title('各特征的信息增益(ID3特征选择依据)', fontsize=16)
plt.xlabel('特征名称', fontsize=14)
plt.ylabel('信息增益值', fontsize=14)
plt.xticks(fontsize=12)
plt.yticks(fontsize=12)
plt.grid(axis='y', linestyle='--', alpha=0.7)
plt.tight_layout()
plt.show()

# ===================== 5. 可视化ID3决策树结构 =====================
plt.figure(figsize=(12, 8))
plot_tree(
    id3_model,
    feature_names=feature_names,
    class_names=class_names,
    filled=True,  # 节点填充颜色
    rounded=True, # 节点圆角
    fontsize=10,  # 字体大小
    precision=1   # 数值精度
)
plt.title('ID3决策树结构(是否适合打网球)', fontsize=16)
plt.tight_layout()
plt.show()

# ===================== 6. 新样本预测与模型优化 =====================
# 构建测试集:3个新样本的天气特征
test_data = pd.DataFrame({
    'Weather': ['Sunny', 'Rainy', 'Overcast'],
    'Temperature': ['Hot', 'Mild', 'Cool'],
    'Humidity': ['Normal', 'High', 'High'],
    'Windy': ['False', 'True', 'False']
})
print("\n测试集(新样本):")
print(test_data)

# 测试集预处理:特征数值化(与训练集使用相同的编码器逻辑)
for column in test_data.columns:
    le_test = LabelEncoder()
    # 用训练集的特征值拟合编码器,避免数据泄露
    le_test.fit(data[column])
    test_data[column] = le_test.transform(test_data[column])

# 模型预测
y_pred = id3_model.predict(test_data)
# 将数值预测结果转回字符串(0→No,1→Yes)
y_pred_str = ['No' if x == 0 else 'Yes' for x in y_pred]
print("\n新样本预测结果(是否打网球):", y_pred_str)

# 模型优化:减小树的深度(max_depth=2),进一步防止过拟合
id3_model_optimized = DecisionTreeClassifier(
    criterion='entropy',
    max_depth=2,
    random_state=42
)
id3_model_optimized.fit(X, y)
# 优化模型预测
y_pred_opt = id3_model_optimized.predict(test_data)
y_pred_opt_str = ['No' if x == 0 else 'Yes' for x in y_pred_opt]
print("优化后模型预测结果:", y_pred_opt_str)

# 计算训练集准确率(验证模型拟合效果)
y_train_pred = id3_model.predict(X)
accuracy = accuracy_score(y, y_train_pred)
print(f"\nID3模型训练集准确率:{accuracy * 100:.2f}%")

4.3 运行结果说明

  1. 信息增益可视化:柱状图会展示4个特征的信息增益值,湿度/天气的信息增益最高,会被ID3选为根节点的划分特征,符合算法的特征选择逻辑;
  2. 决策树可视化:生成的树形结构直观展示分类规则,例如“湿度≤0.5(高湿度)→ 不打网球;湿度>0.5(正常湿度)→ 继续按风力划分”;
  3. 模型预测:对3个新样本完成分类预测,优化后模型(max_depth=2)的规则更简单,泛化能力更强;
  4. 准确率:训练集准确率可达90%以上,在小数据集上拟合效果优异。

4.4 核心参数说明

sklearn中DecisionTreeClassifier的核心参数(ID3算法相关):

  • criterion='entropy':指定特征选择准则为熵,对应ID3算法的信息增益;若设为gini则为CART算法的基尼指数;
  • max_depth:决策树的最大深度,预剪枝核心参数,值越小,树越简单,抗过拟合能力越强;
  • min_samples_split:节点划分的最小样本数,若节点样本数小于该值,停止划分;
  • random_state:随机种子,保证模型训练结果可复现。

五、ID3算法的优缺点

ID3作为决策树的入门算法,核心逻辑简单、可解释性强,但存在明显的局限性,是后续C4.5、CART算法改进的基础。以下优缺点总结适配本科/研究生课程考点和实战选型参考。

5.1 核心优点

  1. 简单直观,易于理解和实现:算法逻辑基于基础的信息论,决策树结构清晰,可直接转化为“if-else”的分类规则,人工能轻松理解;
  2. 天然适配离散特征:专为离散特征设计,无需对离散特征做复杂的预处理,直接可用;
  3. 无需特征标准化/归一化:与线性回归、SVM不同,ID3对特征的量纲无要求,无需做标准化、归一化,数据预处理成本低;
  4. 模型可解释性极强:决策树的每一个节点、分支都对应明确的分类条件,叶节点对应明确的结果,适合需要业务解释的场景(如金融风控、规则引擎);
  5. 训练速度快:在中小规模数据集上,递归划分的计算量小,训练效率高,可快速建模。

5.2 核心缺点

  1. 偏向于选择取值较多的离散特征:这是ID3最致命的缺陷!特征的取值个数越多,信息增益通常越大,ID3会优先选择这类特征,但这类特征往往无实际分类价值(如“手机号”“身份证号”),容易导致过拟合;
  2. 不支持连续特征:ID3仅能处理离散特征,若数据中有连续特征(如价格、温度、年龄),需要先手动做离散化处理(如分箱、分段),步骤繁琐;
  3. 不支持缺失值处理:若数据集中存在特征值缺失的样本,ID3无法直接处理,需要先做缺失值补全(如均值、众数、插值),否则会报错;
  4. 对噪声数据极其敏感:噪声数据会导致特征的信息增益计算偏差,使ID3选择错误的划分特征,最终导致决策树的分类规则偏离真实规律;
  5. 容易过拟合:无内置的剪枝机制(需手动设置max_depth等参数做预剪枝),若不做限制,决策树会无限生长,完美拟合训练集,但对测试集的泛化能力极差;
  6. 仅支持分类任务:ID3算法专为分类问题设计,无法处理回归问题(预测连续数值);
  7. 贪心算法的局限性:ID3采用自顶向下的贪心策略,每次选择局部最优的特征,无法保证最终生成的决策树是全局最优的。

六、ID3算法的适用场景与使用前提

ID3算法的局限性决定了它的适用场景较为有限,更适合作为入门学习和小规模离散数据的快速分类,工业级实战中通常被C4.5、CART及集成算法替代。

6.1 优先选择ID3的场景

  1. 中小规模的离散特征数据集:样本数在千级以内,特征均为离散型(如性别、学历、职业),无需处理连续值和缺失值;
  2. 需要强可解释性的分类任务:业务场景要求分类规则清晰可解释(如简单的规则引擎、人工审核标准),决策树的结构能直接转化为业务规则;
  3. 快速建模与数据规律验证:需要快速构建分类模型,验证数据中的分类规律,ID3训练速度快,无需复杂的参数调优;
  4. 本科/研究生课程实验:作为信息论和决策树的入门实验,ID3能直观体现“信息增益选择特征”的核心思想,帮助理解决策树的构建逻辑。

6.2 ID3算法的使用前提

使用ID3算法前,数据需满足以下条件,否则需要做复杂的预处理:

  1. 特征均为离散型:无连续特征,或已将连续特征手动离散化;
  2. 数据无缺失值:所有样本的特征值和类别标签均完整,无空值;
  3. 数据无严重噪声:噪声数据占比极低,否则会严重影响特征选择和分类结果;
  4. 特征间无强多重共线性:算法假设特征之间相互独立,若特征高度相关,会导致信息增益计算偏差;
  5. 类别分布相对平衡:若某类样本占比过高,ID3会偏向该类别,导致少数类样本的分类准确率极低。

6.3 不适合使用ID3的场景

  1. 含连续特征/缺失值的数据集:需大量预处理,不如直接使用C4.5、CART算法;
  2. 大规模数据集:样本数超万级后,递归划分的计算量显著增大,训练速度变慢;
  3. 对预测精度要求高的工业级场景:ID3易过拟合,泛化能力弱,不如随机森林、XGBoost等集成算法;
  4. 回归任务:ID3仅支持分类,无法预测连续数值,需使用CART、线性回归等算法;
  5. 噪声数据较多的数据集:ID3对噪声敏感,分类结果易偏离真实规律,不如集成算法鲁棒。

七、ID3的改进方向与后续算法

ID3的诸多缺陷为后续决策树算法的改进提供了方向,C4.5和CART是ID3的经典改进版,也是实战中最常用的决策树算法,三者的核心差异见下表(适配课程考点):

算法特性ID3算法C4.5算法CART算法
特征选择准则信息增益信息增益率(修正多值特征偏置)基尼指数/均方误差
支持数据类型仅离散特征离散+连续特征离散+连续特征
缺失值处理不支持支持(概率权重+分配)部分支持(预处理/内置)
剪枝机制无(需手动预剪枝)预剪枝+后剪枝后剪枝(代价复杂度剪枝)
树结构多叉树(按特征取值数)多叉树+二叉树(连续特征)二叉树(所有特征均二叉)
适用任务仅分类仅分类分类+回归
核心改进-解决ID3多值特征偏置问题支持回归,二叉划分更高效

核心改进逻辑

  1. ID3 → C4.5:用信息增益率替代信息增益,通过“固有值”惩罚取值较多的特征,解决ID3的多值特征偏置问题;同时增加连续值、缺失值处理和剪枝机制;
  2. ID3 → CART:用基尼指数替代信息增益,支持分类和回归双任务;所有特征均采用二叉划分,计算效率更高,是随机森林、XGBoost等集成算法的基础。

八、总结

  1. ID3算法是经典的决策树分类算法,核心基于信息论的信息增益选择最优划分特征,通过自顶向下的递归方式构建决策树,逻辑简单直观,是决策树的入门基础;
  2. ID3的理论核心是信息熵和信息增益:信息熵衡量数据的混乱程度,信息增益衡量特征的分类能力,ID3始终选择信息增益最大的特征作为划分节点;
  3. ID3的最大优点是可解释性强、适配离散特征、无需数据预处理、训练速度快;最大缺陷是偏向取值较多的特征、不支持连续值/缺失值、对噪声敏感、易过拟合;
  4. ID3适合中小规模离散特征数据集的快速分类和课程实验,工业级实战中因局限性较强,通常被C4.5、CART及集成算法(随机森林、XGBoost)替代;
  5. ID3是后续决策树算法的改进基础:C4.5解决了ID3的多值特征偏置问题,CART实现了分类+回归双任务,二者均成为实战中更常用的决策树算法。

拓展学习:掌握ID3算法后,可依次学习C4.5算法(信息增益率、连续值/缺失值处理)、CART算法(基尼指数、分类+回归),再过渡到集成学习(Bagging/Boosting),掌握随机森林、XGBoost等工业级算法,形成完整的决策树知识体系。

数据挖掘:id3 算法 1 简述 1.1     id3是一种基于决策树的分类算法,由J.Ross Quinlan 在1986年开发。id3根据信息增益,运用自顶向下的贪心策略 建立决策树。信息增益用于度量某个属性对样本集合分类的好坏程度。 由于采用了信息增益,id3算法建立的决策树规模比较小, 查询速度快。id3算法的改进是C4.5算法,C4.5算法可以 处理连续数据,采用信息增益率,而不是信息增益。 阅读详情

相关推荐

机器学习笔记(4)——ID3决策树算法及其Python实现

决策树是一种基于树结构来进行决策的分类算法,我们希望从给定的训练数据集学得一个模型(即决策树),用该模型对新样本分类。决策树可以非常直观展现分类的过程和结果,一旦模型构建成功,对新样本的分类效率也相当高。 最经典的决策树算法有ID3、C4.5、CART,其中ID3算法是最早被提出的,它可以处理离散属性样本的分类,C4.5和CART算法则可以处理更加复杂的分类问题,本文重点介绍ID3算法。 举个...

小赵的博客 3万+

决策树——ID3算法

前言 我们在使用数据挖掘的时候,完成数据的“清洗”等一系列繁琐的步骤,就可以对数据进一步地进行“挖掘”——对数据进行分类的建立、预测、聚类分析等等的操作。在分类和预测的过程中,有一系列的算法得以脱颖而出——“回归分析”、“决策树”、“人工神经网络”等等 那么今天我就来介绍一下”决策树“——ID3算法 一、ID3算法 ID3作为一种经典的决策树算法,是基于信息熵来选择最佳的测试属性,其选择了当前样本集中具有最大信息增益值的属性作为测试属性。 样本集的划分则依据了测试属性的取值进行,测试属性有多少种取值就能划

weixin_46245411的博客 3万+

决策分类树算法之ID3,C4.5算法系列

一、引言 在最开始的时候,我本来准备学习的是C4.5算法,后来发现C4.5算法的核心还是ID3算法,所以又辗转回到学习ID3算法了,因为C4.5是他的一个改进。至于是什么改进,在后面的描述中我会提到。 二、ID3算法 ID3算法是一种分类决策树算法。他通过一系列的规则,将数据最后分类成决策树的形式。分类的根据是用到了熵这个概念。熵在物理这门学科中就已经出现过,表示是一个物质的稳定度,在这里就

走在前往架构师的路上 3万+

决策树(ID3算法)

决策树学习笔记1、决策树的概念    顾名思义,决策树是用来:根据已知的若干条件,来对事件作出判断。从根节点到叶子节点,是将不同特征不断划分的过程,最后将类别分出。    在理论学习前,先了解下面一个例子:    如下图所示,根据“不浮出水面是否可以生存”和“是否有脚蹼”两种特征来判断该海洋动物是否鱼类。图中有5个样本,样本中有两种是鱼类,三种不是鱼类。    可建立的特征向量如下:_data_s...

知难行更难 3万+

分类算法之决策树ID3详解

回顾决策树的基本知识,其构建过程主要有下述三个重要的问题: (1)数据是怎么分裂的 (2)如何选择分类的属性 (3)什么时候停止分裂 从上述三个问题出发,以实际的例子对ID3算法进行阐述。 先上问题吧,我们统计了14天的气象数据(指标包括outlook,temperature,humidity,windy),并已知这些天气是否打球(play)。如果给...

NeverLate_gogogo的博客 2142

Nginx源码安装和基础配置

Nginx简介 nginx: 世界第二大web服务器软件,以高并发、低消耗著称,源自于俄罗斯,创建者 Igor(伊戈尔),2004年开源,最早以代理服务器的身份出现,2015成立nginx公司,2019年以6.7亿被F5 Networks公司收购。 代理服务器: 正向:squid 反向: squid:最古老的代理服务器 LVS: 优点: 1.抗负载能力强、是工作在网络4层之上仅作分发之用 2.配置性比较低,这是一个缺点也是一个优点,简单不易出错 3.工作稳定,抗负载能力很强,有完整的双机热备方案

hjyhjy0的博客 500

分类算法 -- 决策树ID3算法

决策树算法是非常常用的分类算法,其分类的思路非常清晰,简单易懂。并且它也是一个很基础的算法,集成学习和随机森林算法是以其为基础的。 算法简介 对于决策树算法,其输入是带有标签的数据,输出是一颗决策树。其非叶节点代表的是逻辑判断;叶节点代表的是分类的子集。 决策树算法原理是通过训练数据形成if-then的判断结构。从树的根节点到叶节点的每一条路径构成一个判断规则。我们需要选择合适的特征作为判断节点,...

海军上将光之翼的博客 2万+

【IPAM】Netbox docker模式版本升级

NETBOX 是一个开源的网络资源管理系统,主要用于管理 IP 地址、机架、设备、接口等网络资源信息。下面是 NETBOX 的功能、优点和缺点的详细介绍。

u012153104的博客 1330

python实现ID3决策树分类算法

所有的分类与回归算法中心思想大致是一样的,那就是根据现有带标签的数据集训练一个分类器模型,然后对待未知的样本,根据训练好的分类模型来判定它属于哪个类。分类与回归的区别在我看来就是标签连续与否的区别,若标签连续,则是回归,若标签离散,则是分类。 数据集中的每个样本的特征都是相同维度的,生活中我们常遇到的是根据某个样本少量的特征就可以确定这个样本属于哪个类,比如可以根据一个人的长相、身高、文凭、收入...

aoanng的博客 3万+

深入解析Android14应用安装权限:从声明到授予的完整适配指南

本文深入解析Android14应用安装权限的适配方法,重点介绍了从权限声明到授予的完整流程。与Android13相比,Android14在权限管理机制上进行了重要调整,特别是通过AppOpsManager实现权限的对象化封装。文章详细讲解了权限声明的基础配置、Framework层适配方案、运行时权限授予方法以及常见问题排查指南,帮助开发者高效完成Android14权限适配。

o9p0q1的博客 697

用rsl_rl训练四足机器人走梅花桩:PPO算法调参实战与避坑指南

本文详细介绍了如何使用rsl_rl框架和PPO算法训练四足机器人在梅花桩上行走的实战经验。通过分析梅花桩场景的独特挑战,提供PPO算法关键参数配置策略、奖励函数设计方法以及常见问题的解决方案,帮助开发者高效实现机器人平衡控制。文章特别强调了仿真到实机的过渡技巧,最终实现98%的过桩成功率。

weixin_29103191的博客 224

决策树之ID3算法

今天,我来讲解的是决策树。对于决策树来说,主要有两种算法:ID3算法和C4.5算法。C4.5算法是 对ID3算法的改进。今天主要先讲ID3算法,之后会讲C4.5算法和随机森林等。   Contents        1. 决策树的基本认识      2. ID3算法介绍      3. 信息熵与信息增益      4. ID3算法的C++实现     1. 决策树的基本认识

ACdreamer 8万+

AI快速变现之路,AI视频创作

初期投入$3000(工具订阅+样片制作),重点攻克跨境电商和本地生活服务市场。关注2025年AIGC视频工具的API降价趋势(如Pika企业版折扣可达50%),建议与云服务商签订长期合作协议。

qq_29896351的博客 1985

ID3算法原理详解

本文介绍了ID3算法详细原理,并举例说明。

blinkyou001的博客 8982

【信息科学与工程学】【物理/化学科学和工程技术】第八篇 光学07

对于光源-探测器距离 ρ, 稳态漫反射率 R(ρ) ≈ (1/(4π)) [ z₀ (μ_eff + 1/r₁) exp(-μ_eff r₁)/r₁² + (z₀ + 2z_b) (μ_eff + 1/r₂) exp(-μ_eff r₂)/r₂² ], 其中 μ_eff = √(3μ_a(μ_a+μ_s’)), z₀=1/μ_s’, z_b 与边界条件有关。通过测量光纤各点的布里渊频移 ν_B(z) 来得到应变/温度分布:Δν_B(z) = C_ν,ε Δε(z) + C_ν,T ΔT(z)。

weixin_49199313的博客 335

微信小程序码 createWxaCodeUnlimit 生成总是报错 41030 的解决方案

41030错误本质上就是路径不合法。路径多写了一个斜杠路径带了参数小程序版本未发布或 app.json 配置不一致。如果确认页面存在,可以通过来跳过检查。微信小程序 getUnlimitedQRCode 官方文档路径前不能加 /,参数放 scene,发布版本要有这个页面,不行就关掉 check_path。

代码简单说 Vue、JAVA、PHP、Node.js 熟练运用,接口、架构、性能全搞定。 475

ID3分类算法

ID3分类算法由Quinlan于1986年提出来的,使用信息增益作为属性选择标准。首先检测所有属性,选择信息增益值最大的属性产生决策树节点,由该属性的不同取值建立分支,在对各分支的子集递归调用该方法建立决策树节点的分支,直到所有子集仅包含同一类别的数据为止,最后得到一棵决策树,用来对新的样本进行分类。 1.信息熵 熵(entropy,也叫信息熵)用来度量一个属性的信息量。假定S为...

4624

第一章 EB安装

1.DemoWorkspace 是基于EB当前组件配置下的例程,包含了启动文件和中断服务函数以及组件demo。2.Mclsar 下存放的是EB的插件包和静态MCAL的驱动文件。

舊梦的博客 1965

【数据挖掘】决策树归纳中ID3算法讲解及构建决策树实战(图文解释 超详细)

【数据挖掘】决策树归纳中ID3算法讲解及构建决策树实战(图文解释 超详细)

showswoller的博客 6218

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

分类——ID3算法

分类——ID3算法

qq_22749197的博客 1900

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

【Python】ID3算法的实现

ID3算法的实现ID3实现首先定义一个ID3DTree类来封装算法数据导入函数执行决策树函数决策树主方法构建决策树:创建决策树主程序计算出现次数最多的类别标签计算最优特征计算信息熵划分数据集训练决策树 ID3实现 首先定义一个ID3DTree类来封装算法 # coding:utf-8 #Python3.7.2 from numpy import * import math import copy...

qq_45587822的博客 6377

数据挖掘实验——python实现决策树(ID3算法)

实验内容: 使用ID3算法设计实现决策树,使用uci数据集中的Caesarian Section Classification Dataset Data Set数据进行分类 获取数据集:https://archive.ics.uci.edu/ml/datasets/Caesarian+Section+Classification+Dataset 数据集: @attribute ‘Age’ { 22,26,28,27,32,36,33,23,20,29,25,37,24,18,30,40,31,19,21,3

ArrogantT的博客 4345

基于ID3算法的决策树分类模型

用于理解决策树模型,并以此进行复现依据ID3算法,进行复现。在复现中,尽可能所有运算只通过numpy实现,减少for循环的调用,做到减少运算量,加快运算结果。

aouiylfjh的博客 1757

用java实现基于ID3算法的决策树分类器

完整工程代码下载地址: https://download.youkuaiyun.com/download/luohualiushui1/10949768 首先大家先了解一下深度学习中决策树的概念,如下: 决策树(Decision Tree)是在已知各种情况发生概率的基础上,通过构成决策树来求取净现值的期望值大于等于零的概率,评价项目风险,判断其可行性的决策分析方法,是直观运用概率分析的一种图解法。由于这...

luohualiushui1的专栏 2022

ID3算法思想以及实现

数据挖掘中的分类主要包括基于决策树的分类、基于规则的分类、基于神经网络的分类、基于支持向量机的分类、基于朴素贝叶斯的分类等。

NLP工程化 1万+

【分类算法】C4.5分类算法超详细讲解

本文详细讲解了C4.5决策树分类算法,重点分析了其相对于ID3算法的四大改进:引入信息增益率解决特征选择偏差、支持连续值处理、缺失值处理机制以及剪枝优化。文章从信息论基础出发,系统推导了熵、条件熵、信息增益和信息增益率的数学原理,并阐述了C4.5处理连续特征的最优阈值划分方法、缺失值的加权处理策略以及预剪枝和后剪枝两种优化技术。全文内容深入浅出,既包含理论推导,也提供Python实现思路,适合机器学习初学者系统学习决策树算法,也为研究者提供了实用的技术实现参考。

DeepModel的博客 1257
上一篇: 【分类算法】C4.5分类算法超详细讲解
下一篇: 【分类算法】KNN算法超详细讲解
「已注销」
博客等级 码龄1年 312粉丝 132原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值