20、机器学习中的分类算法：支持向量机与决策树详解

机器学习中的分类算法：支持向量机与决策树详解

在机器学习的分类任务中，支持向量机（SVM）和决策树是两种非常重要且实用的算法。下面将详细介绍这两种算法的原理、实现及应用。

1. 支持向量机（SVM）

支持向量机是一种强大的分类算法，其核心在于利用核技巧处理线性不可分的数据。

1.1 核技巧

支持向量机的拉格朗日对偶形式为：
[LD = \sum_{i} \alpha_i - \frac{1}{2} \sum_{i,j} \alpha_i \alpha_j y_i y_j \mathbf{x}_i \cdot \mathbf{x}_j]
这里关键的是，$LD$ 中数据仅以标量积 $\mathbf{x}_i \cdot \mathbf{x}_j$ 的形式出现。这使得我们可以引入一种类似标量积的变换，即核函数，这就是核技巧。

我们将数据从原始空间映射到另一个（可能是无限维）欧几里得空间 $H$：
[\phi : \mathbb{R}^p \to H]
并定义核函数为：
[K(\mathbf{x}_i, \mathbf{x}_j) = \phi(\mathbf{x}_i) \cdot \phi(\mathbf{x}_j)]
这意味着核函数是一个依赖于两个参数且在欧几里得空间 $H$ 中表现得像标量积的函数。有趣的是，一旦找到这样的核函数，我们就不需要显式地使用辅助映射 $\phi$，可以隐式地使用它。

以下是一些常见的核函数：
- 径向基函数（Radial base function）：
[K(\mathbf{x}_i, \mathbf{x}_j