【漫话机器学习系列】034.决策树（Decision Tree）

决策树（Decision Tree）

决策树是一种常见的监督学习算法，可用于解决分类和回归问题。它通过一系列的条件划分数据集，将样本分配到特定的叶节点，以此进行预测。决策树直观、易于解释，是机器学习中广泛使用的模型之一。

---

决策树的基本概念

1. 节点（Node）

   • 根节点（Root Node）：树的起点，包含所有样本数据。
   • 内部节点（Internal Node）：通过某个特征的条件划分数据。
   • 叶节点（Leaf Node）：终点，表示分类结果或回归值。

2. 分裂（Split）
   根据某个特征及其阈值，将数据划分为两个或多个子集。

3. 深度（Depth）
   决策树中从根节点到叶节点的最长路径。

---

决策树的构建

1. 目标
   寻找特征划分规则，使得划分后的子集尽可能纯（分类）或具有最小误差&