14、经典机器学习算法：决策树、随机森林与支持向量机

经典机器学习算法：决策树、随机森林与支持向量机

1. 决策树的使用与原理

1.1 决策树的使用过程

决策树中，根节点通常位于顶部。以一个具体的决策树为例，根节点会询问“花瓣长度是否 ≤ 2.45？”。如果答案是肯定的，就选择左分支，此时会立即到达一个叶节点，并将样本标记为“virginica”（类别 0）；如果花瓣长度不小于 2.45，则选择右分支，到达一个新节点，该节点会询问“花瓣长度是否 ≤ 4.75？”。若满足条件，会移动到一个询问萼片长度的节点；若不满足，则移动到右节点并再次考虑花瓣长度。这个过程会一直持续，直到到达叶节点，从而确定样本的类别标签。

对于任何新的特征向量，决策树都会从根节点开始依次询问一系列问题，遍历树结构，直到到达叶节点来确定类别标签。这种方式非常直观，易于人类理解，并且决策树能够解释其分类的原因，这使得它在需要了解分类依据的场景中非常实用。

1.2 递归的概念

在深入了解决策树的构建之前，需要先理解递归的概念。递归算法的核心是在不同层次上重复自身。在编程语言中实现为函数时，通常意味着函数会在一个规模更小的问题上调用自身。为了避免无限循环，递归需要一个停止条件。

以整数的阶乘为例，整数 $n$ 的阶乘 $n!$ 定义为 $n(n - 1)(n - 2)(n - 3) \cdots (n - n + 1)$，即从 1 到 $n$ 的所有整数相乘。根据定义，$0! = 1$。例如，$5! = 5 \times 4 \times 3 \times 2 \times 1 = 120$，也可以表示为 $5 \times 4!$。下面是一个用 Python 实现的递归计算阶乘的函数：

<