机器学习之决策树（ID3,C4.5,CRAT）

目录

前言

一、决策树

二、如何建立决策树

1. 数据准备：选择合适的特征和数据集，这是建立决策树的基础。

三.常见决策树的三种算法

1. ID3（Iterative Dichotomiser 3）

2. C4.5

3. CART（Classification and Regression Trees）

四.应用（三种算法的比较）

1.引入库

2.读入数据

3.算法实现

4.效果图

五.总结

---

---

---

前言

决策树是一种基于实例的学习算法，它通过创建决策树来描述分类或回归问题。决策树是一种常用的机器学习模型，它使用树形结构来表示分类或回归问题的决策过程。决策树的每个内部节点表示一个特征属性上的一个判断条件，每个分支代表一个可能的属性值，每个叶子节点表示一个类别或一个具体数值。 决策树在机器学习中的应用非常广泛，它可以用于分类和回归问题，并且具有易于理解和解释的优点。决策树可以用于预测新的未在训练数据中出现的数据，并且可以通过剪枝等技术来避免过拟合，从而提高模型的泛化能力。

---

一、决策树

决策树是一种流行的机器学习算法，它主要用于分类和回归任务。它是一种树形结构，用于对数据进行分类或预测。决策树的每个内部节点表示一个特征或属性上的测试，每个分支代表测试的结果，每个叶子节点表示一个类别或预测值。

决策树通过递归地分割数据集来构建，每次分割都是基于数据集中的某个特征。分割的过程是将数据集划分为多个子集，使得每个子集尽可能地纯，即每个子集中的样本尽可能属于同一类别。这个过程一直重复，直到满足某些停止条件，如所有子集只包含单一类别（纯节点）或达到预设的深度限制。

决策树的关键组成部分包括：

1. 根节点：代表整个数据集。
2. 内部节点：代表特征属性的测试，每个测试根据特征的不同取值将数据集划分成多个子集。
3. 分支：连接内部节点和叶子节点的边，代表特征测试的结果。
4. 叶子节点：代表最终的分类或预测结果，每个叶子节点包含一个类别标签或预测值。

决策树的学习过程包括选择最佳的属性来进行分割，这通常通过计算信息增益、增益率或基尼指数等指标来决定。信息增益越大的属性越有可能成为分割的依据。

决策树的优势在于其简洁性和易于理解，它能够以图形的方式直观地表示决策过程。此外，决策树可以处理非线性关系，并且对于缺失数据不太敏感。然而，决策树也可能面临过拟合的问题，因此常常需要通过剪枝等技术来优化。剪枝包括预剪枝（在构建树的过程中停止条件）和后剪枝（在树构建完成后删除一些节点）。

 

二、如何建立决策树

1. 数据准备：选择合适的特征和数据集，这是建立决策树的基础。

2. 构建决策树：选择一个根节点，然后递归地将数据集分割成多个子集。在每次分割过程中，选择一个最佳的特征来分割数据集，并确定分割点的值。这个过程一直重复，直到满足停止条件，如所有子集只包含单一类别或达到预设的深度限制。

3. 剪枝：为了防止过拟合，可以对决策树进行剪枝。预剪枝是在构建树的过程中停止条件，后剪枝是在树构建完成后删除一些节点。