优化算法 | SVM支持向量机和HOG方向梯度直方图基础原理分析

首先需要明白SVM（支持向量机）的原理

SVM（支持向量机）分类器的原理是利用“分类超平面”来实现数据分类。在利用“分类超平面”对数据进行划分时，遵循“间距最大”原则。例如，将二维平面内的两组数据分类，可以确定很多个“分类超平面”，在二维维度下，超平面退化为一条直线：

上图中使用绿线将蓝色圆圈和红色方块进行分类，可以有多种方式。那么根据SVM原理，哪一条线是最佳分类线呢？答案是，最佳分类线因该是距离蓝色圆圈和红色方框的距离都是最大的那一条，即找到两组数据的最大间距，在最大间距中点画一条线，如下：

在上图中，有蓝色圆圈和红色方块，找到一条直线，使得蓝色圆圈中离这条直线最近的点和红色方块离这条直线距离最近的点到这条直线的距离相等，且蓝色圆圈和红色方块在这条直线的两侧，那么这条直线就是二维的情况下的分类蓝色圆圈和红色方块的“间距最大”的“分类超平面”

如果分类3维数据，我们就使用一个平面来分割数据。如果分类4维数据，我们将会使用一个体来分割数据。以此类推，如果分类1024维数据，我们将使用