支持向量机（svm）-优快云博客

本文链接：https://blog.youkuaiyun.com/GGBOY1312313/article/details/139596134

支持向量机（Support Vector Machine，简称SVM）是一种广泛应用于分类和回归分析的监督学习算法。其基本原理是通过在特征空间中找到一个最优的超平面，将不同类别的数据点分隔开。

在二分类问题中，SVM的目标是找到一个能够将两类数据点分隔开的超平面，使得两侧距离最近的数据点到超平面的距离（即间隔）最大。这些最靠近超平面的数据点被称为支持向量。超平面的选择不仅要使得间隔最大，还要满足不同类别的数据点被正确分类，即位于超平面两侧的点应被分到不同的类别。

SVM可以通过核函数来处理非线性问题，将数据映射到高维空间，从而找到一个在高维空间中的超平面来完成分类。常用的核函数有线性核、多项式核、径向基核等。SVM在实际应用中表现出色，尤其在数据维度较高、样本数量不是很大的情况下。它对于处理线

性和非线性问题都有很好的效果，是一个强大而灵活的分类算法。

支持向量机（support vector machines，SVM）是一种二分类模型，它的目的是寻找一个超平面来对样本进行分割，分割的原则是间隔最大化，最终转化为一个凸二次规划问题来求解。

下面举个简单的例子，如下图所示，现在有一个二维平面，平面上有两种不同的数据，分别用圈和叉表示。由于这些数据是线性可分的，所以可以用一条直线将这两类数据分开，这条直线就相当于一个超平面，超平面一边的数据点所对应的y全是 -1 ，另一边所对应的y全是1。

接下来的问题是，如何确定这个超平面呢？从直观上而言，这个超平面应该是最适合分开两类数据的直线。而判定“最适合”的标准就是这条直线离直线两边的数据的间隔最大。所以，得寻找有着最大间隔的超平面。

在超平面w*x+b=0确定的情况下，|w*x+b|能够表示点x到距离超平面的远近，而通过观察w*x+b的符号与类标记y的符号是否一致可判断分类是否正确，所以，可以用(y*(w*x+b))的正负性来判定或表示分类的正确性。于此，我们便引出了函数间隔（functional margin）的概念。

定义函数间隔为：

而超平面(w，b)关于数据集T中所有样本点(xi，yi)的函数间隔最小值（其中，x是特征，y是结果标签，i表示第i个样本），便为超平面(w, b)关于训练数据集T的函数间隔：

但这样定义的函数间隔有问题，即如果成比例的改变w和b（如将它们改成2w和2b），则函数间隔的值f(x)却变成了原来的2倍（虽然此时超平面没有改变），所以只有函数间隔还远远不够。

事实上，我们可以对法向量w加些约束条件，从而引出真正定义点到超平面的距离--几何间隔（geometrical margin）的概念。

假定对于一个点 x ，令其垂直投影到超平面上的对应点为 x0 ，w 是垂直于超平面的一个向量，为样本x到分类间隔的距离，如下图所示：

可以看出：几何间隔就是函数间隔除以||w||，而且函数间隔y*(wx+b) = y*f(x)实际上就是|f(x)|，只是人为定义的一个间隔度量，而几何间隔|f(x)|/||w||才是直观上的点到超平面的距离。

支持向量机（svm）