简单明了的阐述SVM支持向量机以及做法步骤

• 一：什么是SVM向量机

  SVM向量机通俗来讲，是用于分类的一种算法。

  
     举例来说，SVM要做的就是，1.将图中的黑点和白点分开 2.分割线要尽量离两边的样本点要远。

     图中的黑色实线即为分割线，黑色虚线即为俩边的样本到分割线最近的位置。我们假设白点样本到分割线的最近的距离为d1，黑色样本点到分割线的最近的距离为d2，我们必须保证d1=d2。若d1不等于d2，即分割线距离某个样本比另一个样本更近，这个分割线是不合适的，因为它会更偏袒某个样本。
     由于样本离分割线的最近距离相同，即某个样本点距离分割线的距离相同，黑色
  虚线是按照样本点来画的，所以在黑色虚线的样本点，即距离分割线最近的几个样本点，我们叫做支持向量，分割线叫做决策面，并且对于一组样本，通常有不同的决策面。
     并且d要大，即距离应当更宽，因为分割线距离样本越宽，这个分割线就越“安全”。越不容易分错。

     下面来看一下怎么计算：

     第一：我们可以从图像知道，决策面是一个直线函数，我们将其定义为 y = ax+b。

     第二：因为也许会有不同的多个决策面，所以我们要决定出哪个决策面最好，根据决策面的条件，我们知道，支持向量到决策面的距离越宽越好。所以这个距离我们用点到直线的距离公式。
  $$d=\frac{\left|Ax+By+b\right|}{\rfloor \overline{A^2+B^2}}$$
     我们将公式向量化，A,B都是我们不知道的，x,y是样本点的坐标，是已知的，我们将已知的x,y和未知的A,B提出来，组成向量的形式，即$x_i=[x_i,y_i]$ ，i为第几组样本，w =$[A_i,B_i]$ ，所以Ax + By = $W_i^T{X}_i$，大家很熟悉的向量形式吧， $A^2+B^2$即为||w||，这里||w|| = $W^{T}W$。
  所以距离公式为 $$d=\frac{\left|w^T{x}_i+b\right|}{\Vert w\Vert }$$
     第三：这里我们可以回想一下为什么距离公式的分子要加绝对值符号，因为会有正负（废话呀这是），但什么时候是正什么时候是负呢，当点在这条线下方的时候为负，在上面为正（不再解释），而我们SVM正号要对样本进行分类，我们可以把被决策面上方的一边的样本定义为+1，下面的定义为-1，我们可以定义一个标签向量y = {-1,1}，我们便可以利用这个标签向量去掉绝对值符号。即
  $$d=\frac{\left(w^T{x}_i+b\right)\ast y_i}{\Vert w\Vert },y_i=-1或1$$
    第四：我们想要计算d的最小值，我们先对分子进行处理：
  我们知道d是样本距离决策面的距离，且有正负，若大于d，则样本在决策面上面，被分到的标签是y =1 ，反之一样。则：
  $$\frac{\left(w^T{x}_i+b\right)\ast y_i}{\Vert w\Vert }>=d,y_i=1$$
  $$\frac{\left(w^T{x}_i+b\right)\ast y_i}{\Vert w\Vert }<=-d,y_i=-1$$
  同时处以d，得：
  $$\frac{\left(w^T{x}_i+b\right)\ast y_i}{\Vert w\Vert d}>=1,y_i=1$$
  $$\frac{\left(w^T{x}_i+b\right)\ast y_i}{\Vert w\Vert d}<=-1,y_i=-1$$
  设$W_d=\frac{w}{\Vert W\Vert d}$，$B_d=\frac{b}{\Vert W\Vert d}$
  可得：$$W_d^T{x}_i+Bd>=1，y=1$$
  $$W_d^T{x}_i+Bd<=-1，y=-1$$
  将两式合并$$\left(W^T{x}_i+Bd\right)y_i\ge 1$$
  即$min[\left(w^T{x}_i+Bd\right)y_i]$的最小值为1
  这样距离公式转化成了求$\frac{1}{\Vert W\Vert }$的最大值
  即 max （d） = max$\frac{1}{\Vert W\Vert }$
  即求$\Vert W\Vert$的最小值
  求这么一个函数的最小值不一定好求，我们等效成求$\frac{1}{2}{\Vert W\Vert }^2$的最小值，转换成这样是易于求极小值
     第五：我们这时候暂时总结一下（下面还有），判断求决策面是否合适转换成了求距离是否大，然后由距离公式不断推出，我们现在要求这个结果：$$min\frac{1}{2}{\Vert W\Vert }^2$$
  但是，别忘了这个式子是不全面的，这个式子是在约束条件$$y_i\left(w^T{x}_i+b\right)\ge 1$$得到的，所以要加上这个约束条件
  $$max（d）=min\frac{1}{2}{\Vert W\Vert }^2$$
  $$s.t.y_i\left(w^T{x}_i+b\right)\ge 1$$或者 $$s.t.y_i\left(w^T{x}_i+b\right)-1\ge 0$$
     第六，看见这个式子，学过高数的朋友应该心里想到了怎么求，用拉格朗日函数求解，设：$$L\left(w,b,a\right)=\frac{1}{2}{\Vert W\Vert }^2-\sum _{i=1}^{n}a[y_i\left(w^T{x}_i+b\right)-1]$$
  分别求L对w，b的偏导，得：$$\frac{\partial L}{\partial w}=w-\sum _{i=1}^{n}a\cdot y_i{x}_i$$$$\frac{\partial L}{\partial b}=-\sum _{i=1}^{n}a\cdot y_i$$
    第七：令偏导等于0：$$w=\sum _{i=1}^{n}a\cdot y_i{x}_i$$$$0=\sum _{i=1}^{n}a\cdot y_i$$
  对原式L（w,b,a）进行代入化简运算：
  $$L\left(w,b,a\right)=\sum _{i=1}^n{a}_i-\frac{1}{2}{\left(\sum _{i=1}^n{a}_i{x}_i{y}_i\right)}^T\sum _{i=1}^n{a}_i{x}_i{y}_i$$$$=\sum _{i=1}^n{a}_i-\frac{1}{2}\sum _{ij=1}^n{a}_i{a}_j{y}_i{y}_j{x}_i^T{x}_i$$
  别忘了约束条件$$s.t.\sum _{i=1}^n{a}_i{y}_i=0$$$$a_i>0,i=1,2,..n$$
  基本上是完成了计算方式，下面还有优化
  （我不想写了腰好疼哇啊啊啊啊啊，剩下的明天写吧）