支持向量机数学证明与推导（SVM）

支持向量机（SVM）

@(数据挖掘)[svm]

---

一、线性可分支持向量机和硬间隔最大化

1. 名词解释

   线性可分：就是指给定一组数据集$T = \left \{(x_1, y_1), (x_2,y_2), \cdots,(x_N,y_N) \right \}$，其中，$x_i \in \chi =R^n, y_i \in \gamma = \left \{+1,-1 \right \}, i =1,2,\cdots,N$，如果存在某个超平面S，$w \cdot x + b = 0$，能够将整个数据集的正实例和负实例完全正确地划分到超平面的两侧，则称这个数据集T是线性可分数据集（linearly separable data set）；否则就是线性不可分的。
   硬间隔最大化，也就是线性可分支持向量机，在线性可分数据集上利用间隔最大化求最优分离超平面的过程

2. 首先从点到直线的距离发散到高维易知，$\left | w\cdot x + b \right |$能够相对的表示点$x$到超平面的距离，而$w \cdot x + b$的符号与类标记$y$的符号是否一致能够表示分类是否正确，所以：
   

   $$\hat{\gamma_i} = y_i(w \cdot x +b)$$
   可以用来表示数据集中每个点分类正确性和到分割超平面距离（也可以称为分类置信度大小），也叫超平面$(w,b)$关于样本点$(x_i,y_i)$的函数间隔。
   我们可以进一步定义超平面关于整个数据集T的函数间隔为数据集T中所有点到超平面函数间隔的最小值：
   
   $$\hat{\gamma} = \min \limits_{i=1,\cdots,N}{ \hat{\gamma_i}}$$
   但是可以发现，我们同时按比例增大$w$和$b$，超平面仍然是$w \cdot x +b$没有变，但是函数间隔却同样按比例变化了，所以我们对分离超平面的法向量$w$加了约束，使得$\left \| w \right \|=1$，也就是间隔值不会改变，这时函数间隔变成了几何间隔，记做：
   $$\gamma_i = y_i(\frac{w}{\left \| w \right \|} \cdot x + \frac{b}{\left \| w \right \|} )$$
   则同理数据集到超平面的几何距离为：
   $$\gamma = \min \limits_{i=1,\cdots,N}{{ \gamma_i}}$$

3. 进一步，我们的线性可分支持向量机就变成了一个约束最优化问题：
   $$\max \limits_{w,b}{\gamma}$$
   $$s.t. \quad y_i(\frac{w}{\left \| w \right \|} \cdot x + \frac{b}{\left \| w \right \|} ) \geqslant \gamma, \quad i =1,2,\cdots,N$$
   即是最大化几何间隔的问题，接着根据函数间隔与几何间隔的关系，我们易得：
   
   maxw,bγ̂ ‖w‖