机器学习:支持向量机

基本概念

1. 什么是支持向量机
支持向量机是一种二分类模型,在机器学习、计算机视觉、数据挖掘中广泛应用,主要用于解决数据分类问题,它的目的是寻找一个超平面对样本进行分割,分割的原则是间隔最大化(也就是数据集的边缘点到分界点的距离d最大)最终转化成一个凸二次规划问题来求解。通常的SVM用于二元分类问题,对于多元分类问题可将其分解为多个二元分类问题,在进行分类。
2.最优分类边界
什么才是最优分类边界?什么条件下分类边界为最优边界呢?
如图中A、B两个样本点,B点被预测为正类的确信度要大于A点,所以SVM的目标是寻找一个超平面,使得离超平面较近的一类点之间能有更大的间隔,即不必考虑所有样本点,只需要求得的超平面使得离它近的点间隔最大。超平面可以用如下线性方程描述:
$$w^T+b=0$$
其中$x=(x1;x2;...;xn),w=(w1;w2;...;wn)$,b为偏置项。可以从数学上证明,支持向量到超平面距离为:
$$\gamma =\frac{1}{\Vert w\Vert }$$