18、机器学习算法深入解析与实践

机器学习算法深入解析与实践

1. 支持向量机（SVM）

支持向量机（SVM）是一种常用的机器学习算法，用于将数据分类到不同的类别中。它基于超平面的概念，超平面是用于划分数据点之间线性边界的工具。

1.1 超平面与最大间隔分离原则

假设有一组黑白点分布在 x-y 轴上，我们可以找到多条线将它们分开。例如，线 H1 和 H2 都能准确地分离这些点，但哪条线是最优的呢？直观来看，离点较近的线（如垂直的线 H1）可能不是最优的，因为它对数据的微小变化过于敏感，新的数据点可能会被错误分类。而线 H2 能在分离数据的同时，与离它最近的点保持最大的距离，数据中的微小瑕疵不太可能像线 H1 那样影响点的分类，这就是最大间隔分离原则。

1.2 支持向量

靠近超平面的点被称为“支持向量”，它们对于确定超平面的位置和方向起着关键作用。

1.3 核技巧

在现实世界中，并非所有的数据点都是线性可分的。SVM 利用“核技巧”，将可能无法线性分离的点投影或映射到更高维的表面。例如，在二维 x-y 空间中无法用直线分离的点，投影到三维空间后可能可以用超平面分离。

1.4 R 语言中使用 SVM

在 R 语言中，有多个包可以使用 SVM，如 kernlab、e1071、klaR 等。以下是使用 e1071 包进行 SVM 分类的示例代码：

library(mlbench)
library(caret)
library(e1071)
set.seed(123)
data("PimaIndiansDiabetes