【第二章:机器学习与神经网络概述】03.类算法理论与实践-(3)决策树分类器

IT古董

已于 2025-06-30 11:18:22 修改

阅读量306

点赞数 8

CC 4.0 BY-SA版权

分类专栏：人工智能课程文章标签：机器学习算法神经网络

于 2025-06-29 10:31:50 首次发布

本文链接：https://blog.youkuaiyun.com/IT_ORACLE/article/details/148994023

人工智能课程专栏收录该内容

28 篇文章

订阅专栏

第二章: 机器学习与神经网络概述

第三部分：类算法理论与实践

第三节：决策树分类器

内容：信息增益、剪枝技术、过拟合与泛化能力。

决策树是一种常用于分类和回归的树状结构模型，它通过一系列特征判断进行决策，有良好的可解释性。

一、基本概念

节点（Node）：表示特征判断条件
边（Branch）：表示特征判断的结果路径
叶子节点（Leaf）：表示分类结果

二、划分准则：信息增益（Information Gain）

信息增益衡量划分数据后信息的不确定性减少量。常见的指标有：

1. 熵（Entropy）：

衡量系统的不确定性，定义如下：

$Entropy(D) = -\sum_{i=1}^{k} p_i \log_2 p_i$

其中 $p_i$ 是样本属于第 i 类的概率。

2. 信息增益（ID3算法）：

$Gain(D, A) = Entropy(D) - \sum_{v \in Values(A)} \frac{|D_v|}{|D|} Entropy(D_v)$

即在特征 A 上划分后的加权平均熵减少量。

3. 信息增益率（C4.5算法）：

防止倾向于取值多的特征，使用：

$Gain\_ratio(D, A) = \frac{Gain(D, A)}{IV(A)}$

4. 基尼系数（Gini Index, CART算法）：

$Gini(D) = 1 - \sum_{i=1}^{k} p_i^2$

三、剪枝技术（Pruning）

决策树容易过拟合，为此引入剪枝：

预剪枝（Pre-Pruning）：在构建树过程中提前停止划分，如：
- 最小样本数限制
- 最大树深限制
- 最小信息增益阈值等
后剪枝（Post-Pruning）：构建完整树后，自底向上移除对泛化无提升的子树，常结合验证集评估

四、过拟合与泛化能力

过拟合（Overfitting）：树过于复杂，记住训练集细节，泛化能力差
泛化能力（Generalization）：模型对未知样本的预测能力

提升泛化能力的方法：

限制树深
设置最小分裂样本数
使用集成学习方法（如随机森林）

五、Python 示例（使用 `sklearn`）

from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# 加载数据
X, y = load_iris(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)

# 创建并训练模型
clf = DecisionTreeClassifier(criterion="entropy", max_depth=3)
clf.fit(X_train, y_train)

# 预测与评估
y_pred = clf.predict(X_test)
print(f"准确率: {accuracy_score(y_test, y_pred):.2f}")

六、决策树的优缺点

优点	说明
可解释性强	输出为结构化树，易于理解
处理数值与类别数据	灵活适应各种数据类型
不需要归一化	不受特征缩放影响

缺点	说明
易过拟合	尤其是在树太深时
对噪声敏感	小的扰动可能导致结构变化
不稳定	样本微小变化可影响结构（可用集成方法解决）

七、可视化与拓展建议

可视化决策树结构（plot_tree）
重要特征排序（feature_importances_）
拓展到 回归树、集成模型（如随机森林、GBDT）

决策树结构图示例

from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier, plot_tree
import matplotlib.pyplot as plt

# 1. 加载鸢尾花数据集
iris = load_iris()
X, y = iris.data, iris.target
feature_names = iris.feature_names
class_names = iris.target_names.tolist()  # 修改：将数组转换为列表

# 2. 构建决策树分类器
clf = DecisionTreeClassifier(max_depth=3, random_state=0)  # 限制树深度便于可视化
clf.fit(X, y)

# 3. 绘制决策树结构图
plt.figure(figsize=(12, 8))
plot_tree(clf,
          feature_names=feature_names,
          class_names=class_names,
          filled=True,
          rounded=True,
          fontsize=10)
plt.title("Iris Dataset Decision Tree (max_depth=3)")
plt.show()