机器学习_支持向量机

1.4 支持向量机

1.4.1 算法原理

将数据映射到一个高维空间中，在空间中找到一个最优的超平面来分隔不同类别的数据，使得不同类别的数据点被分到不同的区域。SVM通过训练样本点构建一个划分超平面，并且在所有可能的划分超平面中找到一个能够最大化间隔的超平面，称之为最优超平面。

1.4.1.1 超平面

在二维空间中，超平面是一条直线，而在更高维的情况下，它成为一个超平面。SVM的目标是找到一个最佳的超平面，使得不同类别的数据点能够在超平面的两侧分开。这个超平面被称为“分隔超平面”。

1.4.1.2 支持向量

分隔超平面的两侧都有一些最接近超平面的数据点，这些数据点被称为“支持向量”。

1.4.1.3 间隔

间隔是指这些支持向量到超平面的距离，SVM的优化目标是最大化这个间隔。

1.4.1.3 核技巧

数据往往不是线性可分的。为了解决这个问题，SVM引入了核技巧。核函数允许SVM在高维空间中隐式地进行非线性映射，将数据从原始特征空间映射到一个更高维的空间，在这个高维空间中可能会变得线性可分。

1.4.1.4 C参数

参数C用于平衡间隔的最大化和错误的最小化之间的权衡。较小的C值会导致更大的间隔但可能容忍更多的错误分类，而较大的C值会强调正确分类但可能导致较小的间隔。

1.4.2 代码实现

1.4.2.1 导包