支持向量机

支持向量机

算法思想

支持向量机（SVM）的基础思想是在空间中找到一个可以将正负样本点分开的分离超平面，并使支持向量到分离超平面的距离最大。

空间中点到平面的距离计算方法

假设空间中存在点$x=(x_1,x_2,\cdots,x_n)$，存在平面$f(x)=Wx+b$。那么点到平面的距离可以表示为:

$$dist=\frac{|Wx+b|}{||w||}$$

支持向量机

支持向量机分为3种，分别是：1.线性可分支持向量机;2.线性不可分支持向量机;3.非线性支持向量机。对于支持向量机来说，支持向量是十分重要的概念。如下图分离超平面为$\vec{w}\cdot\vec{x}+b=0$在直线$\vec{w}\cdot\vec{x}+b=-1$和$\vec{w}\cdot\vec{x}+b=+1$上的点即为支持向量机中的支持向量。可以计算样本点$x_i$到分离超平面的距离满足$\frac{y_i(Wx_i+b)\geq\epsilon}{||W||}$，其中ϵ=ysupport(Wxsuppor