决策树基础：深入理解其核心工作原理

勤劳兔码农

于 2024-07-25 20:16:34 发布

阅读量1.5k

点赞数 26

CC 4.0 BY-SA版权

文章标签：决策树算法机器学习

本文链接：https://blog.youkuaiyun.com/2401_85639015/article/details/140699039

决策树基础：深入理解其核心工作原理

引言
决策树的基本概念
- 什么是决策树
- 决策树的组成部分
决策树的工作原理
- 特征选择
- 信息增益
- 基尼指数
决策树的生成
- ID3 算法
- C4.5 算法
- CART 算法
决策树的剪枝
- 预剪枝
- 后剪枝
决策树的优缺点
- 优点
- 缺点
决策树的实现
- Python 代码实现
- Scikit-learn 实现
决策树的应用
总结

1. 引言

决策树是一种重要的机器学习算法，广泛应用于分类和回归任务。它通过构建一个树形模型，从而将输入特征空间划分成不同的类别或预测数值。本指南将详细介绍决策树的核心工作原理、生成算法、剪枝策略以及其实现方法，并结合实际案例和源码解析，帮助读者深入理解决策树的应用与实现。

2. 决策树的基本概念

什么是决策树

决策树是一种树状结构的模型，用于将数据集划分为更小的子集，并在这些子集中递归地进行决策。每个内部节点表示一个特征，每个分支表示一个特征值的划分，最终的叶节点表示一个类别或回归值。

决策树的组成部分

根节点（Root Node）：决策树的顶点，表示整个数据集。
内部节点（Internal Nodes）：每个内部节点代表一个特征，并根据该特征划分数据集。
叶节点（Leaf Nodes）：最终的决策结果，表示类别标签或回归值。
分支（Branches）：连接节点之间的路径，表示特征值的划分。

3. 决策树的工作原理

决策树通过递归地选择最优特征，将数据集划分为多个子集，并在这些子集上继续进行划分，直到满足停止条件为止。最优特征的选择通常基于某种度量标准，如信息增益或基尼指数。

特征选择

特征选择是决策树生成过程中最关键的一步。不同的特征选择方法会导致不同的树结构，从而影响模型的性能。常用的特征选择标准包括信息增益和基尼指数。

信息增益

信息增益是基于熵的概念来衡量特征的重要性。熵表示数据集的纯度，信息增益则表示通过划分数据集可以提升的纯度。

熵的定义为：

[ H(D) = - \sum_{i=1}^{k} p_i \log_2 p_i ]

其中，( p_i ) 表示类别 ( i ) 的概率。

信息增益的计算公式为：

[ IG(D, A) = H(D) - \sum_{v \in Values(A)} \frac{|D_v|}{|D|} H(D_v) ]

其中，( D ) 表示数据集，( A ) 表示特征，( D_v ) 表示特征 ( A ) 的值为 ( v ) 的子集。

基尼指数

基尼指数是另一种衡量数据集纯度的方法，广泛应用于分类与回归树（CART）算法中。基尼指数越小，数据集越纯。

基尼指数的定义为：

[ Gini(D) = 1 - \sum_{i=1}^{k} p_i^2 ]

其中，( p_i ) 表示类别 ( i ) 的概率。

特征 ( A ) 的基尼指数为：

[ Gini_A(D) = \sum_{v \in Values(A)} \frac{|D_v|}{|D|} Gini(D_v) ]

4. 决策树的生成

决策树的生成算法主要包括 ID3、C4.5 和 CART。它们在特征选择、处理缺失值和剪枝策略上有所不同。

ID3 算法

ID3 算法由 Ross Quinlan 提出，使用信息增益作为特征选择标准。以下是 ID3 算法的步骤：

计算数据集的熵。
计算每个特征的信息增益。
选择信息增益最大的特征作为节点，划分数据集。
对每个子集递归地应用上述步骤，直到所有特征都使用完或子集纯度达到阈值。

C4.5 算法

C4.5 是 ID3 的改进版本，解决了 ID3 的一些缺点，如处理连续值、缺失值和剪枝策略。C4.5 使用增益率（Gain Ratio）作为特征选择标准：

[ GainRatio(D, A) = \frac{IG(D, A)}{IV(A)} ]

其中，信息值（IV）定义为：

[ IV(A) = - \sum_{v \in Values(A)} \frac{|D_v|}{|D|} \log_2 \frac{|D_v|}{|D|} ]

CART 算法

分类与回归树（CART）算法由 Leo Breiman 提出，使用基尼指数作为特征选择标准，适用于分类和回归任务。CART 生成的是二叉树，每个节点只根据一个特征划分数据集。

5. 决策树的剪枝

决策树容易过拟合，因此需要通过剪枝来控制树的复杂度。剪枝策略分为预剪枝和后剪枝。

预剪枝

预剪枝是在生成决策树的过程中，通过设定停止条件来避免生成过于复杂的树。这些条件可以是最大深度、最小样本数或信息增益阈值。

后剪枝

后剪枝是在生成完整决策树后，逐步去掉对模型贡献不大的节点。常用的后剪枝方法包括错误复杂度剪枝和代价复杂度剪枝。

6. 决策树的优缺点

优点

易于理解和解释：决策树结构直观，决策过程透明。
无需数据预处理：可以处理连续和离散数据，处理缺失值。
计算成本低：训练和预测的时间复杂度较低。
适用性广：适用于分类和回归任务。

缺点

容易过拟合：决策树容易生成过于复杂的模型，导致泛化性能差。
不稳定性：小的变化可能导致树结构的显著变化。
偏向多值特征：信息增益容易偏向取值较多的特征。

7. 决策树的实现

Python 代码实现

以下是使用 Python 从零实现决策树分类器的代码示例：

import numpy as np
import pandas as pd

class DecisionTreeClassifier:
    def __init__(self, max_depth=None):
        self.max_depth = max_depth
    
    def fit(self, X, y):
        self.n_classes_ = len(set(y))
        self.n_features_ = X.shape<

最低0.47元/天解锁文章

200万优质内容无限畅学