支持向量机-线性可分向量机

1. 线性可分支持向量机
   （1）线性可分支持向量机如下图示：
   （2）分割超平面：
      设C和D是两个不相交的凸集，则存在超平面P使得C和D分离。
      两个集合的距离定义为两个集合间元素的最短距离，做集合C和D最短线段的垂直平分线。
      如何定义两个集合的最优分割超平面，找到集合“边界”上的若干点，以这些点为基础计算超平面的方向，以两个集合边界上的这些点的平均作为超平面的截距。
   （3）线性分类问题：
   
      输入数据：假设给定一个特征空间上的训练数据集， T = { ( x ⃗ 1 , y 1 ) , ( x ⃗ 2 , y 2 ) , ⋯   , ( x ⃗ n , y n ) } T=\{ (\vec{x}_1,y_1),(\vec{x}_2,y_2),\cdots,(\vec{x}_n,y_n) \} T={(x 1​,y1​),(x 2​,y2​),⋯,(x n​,yn​)}，其中$\vec{x}\in R^n$, y i ∈ { + 1 , − 1 } y_i\in \{ +1,-1 \} yi​∈{+1,−1}，$y_i$为${\vec{x}}_i$的类标记，当$y_i=+1$时，称${\vec{x}}_1$为正例，当$y_i=-1$时，称${\vec{x}}_1$为负例。
      线性可分支持向量机：给定线性可分训练集，通过间隔最大化得到的分离超平面为$y(x)=w^T\Phi (x)+b$，相应的决策函数为$f(x)=sign(w^T\Phi (x)+b)$，该决策函数称为线性可分支持向量机。$\Phi (x)$是某个确定的特征空间转换函数，它的作用是将x映射到（更高的）维度。求解分离超平面问题可以等价求解相应的凸二次规划问题。
   （4）推导目标函数
      根据题设$y(x)=w^T\Phi (x)+b$，有:
   $$\{\begin{array}{l}y(x_i)>0\iff y_i=+1\\ y(x_i)<0\iff y_i=-1\end{array}\Rightarrow y_i\cdot y(x_i)>0$$
      $w,b$等比例缩放，则$t\ast y$的值同样缩放，从而：
   $$\frac{y_i\cdot y(x_i)}{||w||}=\frac{y_i\cdot (x^T\cdot \Phi (x_i)+b)}{||w||}$$
      目标函数为
   $$\underset{w,b}{\mathrm{argmax}}\left\{\frac{1}{\Vert w\Vert }\underset{i}{\min }\left[y_i\cdot \left(w^T\cdot \Phi \left(x_i\right)+b\right)\right]\right\}$$
         含义为最大间隔分离超平面，如下图示意
      建立目标函数：总可以通过等比例缩放w的方法，使得两类点的函数值都满足$|y|\ge 1$。约束条件：$y_i\cdot \left(w^T\cdot \Phi \left(x_i\right)+b\right)\ge 1$，原目标函数为$\underset{w,b}{\mathrm{argmax}}\left\{\frac{1}{\Vert w\Vert }{\min }_i\left[y_i\cdot \left(w^T\cdot \Phi \left(x_i\right)+b\right)\right]\right\}$,新的目标函数为:$\underset{w,b}{\mathrm{argmax}}\frac{1}{\Vert w\Vert }$，也就是为
   $$\underset{w,b}{\min }\frac{1}{2}\Vert w{\Vert }^2$$$$\text{ s.t. }{y}_i\left(w^T\cdot \Phi \left(x_i\right)+b\right)\ge 1,i=1,2,\cdots ,n$$
   （4）拉格朗日乘数法求解目标函数
   $$L(w,b,\alpha )=\frac{1}{2}\Vert w{\Vert }^2-\sum _{i=1}^n{\alpha }_i\left(y_i\left(w^T\cdot \Phi \left(x_i\right)+b\right)-1\right)$$
      原问题是极小极大问题
   $$\underset{w,b}{\min }\underset{\alpha }{\max }L(w,b,\alpha )$$
      原问题的对偶问题，是极大极小问题
   $$\underset{\alpha }{\max }\underset{w,b}{\min }L(w,b,\alpha )$$
      将拉格朗日函数$\mathrm{L}(\mathbf{w},\mathrm{b},\mathbf{a})$分别对$\mathbf{w},\mathbf{b}$求偏导，并令其等于0
   $$\frac{\partial L}{\partial w}=0\Rightarrow w=\sum _{i=1}^n{\alpha }_i{y}_i\Phi \left(x_i\right)$$
   $$\frac{\partial L}{\partial b}=0\Rightarrow 0=\sum _{i=1}^n{\alpha }_i{y}_i$$
      将上式带入并且计算拉格朗日对偶函数:
   $$\begin{array}{rl}& L(w,b,\alpha )=\frac{1}{2}\Vert w{\Vert }^2-\sum _{i=1}^n{\alpha }_i\left(y_i\left(w^T\cdot \Phi \left(x_i\right)+b\right)-1\right)\\ & =\frac{1}{2}{w}^{T}w-w^T\sum _{i=1}^n{\alpha }_i{y}_i\Phi \left(x_i\right)-b\sum _{i=1}^n{\alpha }_i{y}_i+\sum _{i=1}^n{\alpha }_i\\ & =\frac{1}{2}{w}^T\sum _{i=1}^n{\alpha }_i{y}_i\Phi \left(x_i\right)-w^T\sum _{i=1}^n{\alpha }_i{y}_i\Phi \left(x_i\right)-b\cdot 0+\sum _{i=1}^n{\alpha }_i\\ & =\sum _{i=1}^n{\alpha }_i-\frac{1}{2}{\left(\sum _{i=1}^n{\alpha }_i{y}_i\Phi \left(x_i\right)\right)}^T\sum _{i=1}^n{\alpha }_i{y}_i\Phi \left(x_i\right)\\ & =\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i,j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{\Phi }^T\left(x_i\right)\Phi \left(x_j\right)\end{array}$$
   $$a^{\ast }=\underset{\alpha }{\mathrm{argmax}}\left(\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i,j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{\Phi }^T\left(x_i\right)\Phi \left(x_j\right)\right)$$
      继续求${\min }_{\mathrm{w},\mathrm{b}}\mathrm{L}(\mathrm{w},\mathrm{b},\alpha )$对$\alpha$的极大值
   $$\begin{array}{rl}& \underset{\alpha }{\max }\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j\left(\Phi \left(x_i\right)\cdot \Phi \left(x_j\right)\right)\\ & \text{ s.t. }\sum _{i=1}^n{\alpha }_i{y}_i=0\\ & {\alpha }_i\ge 0,i=1,2,\dots ,n\end{array}$$
      整理目标函数：添加负号
   $$\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j\left(\Phi \left(x_i\right)\cdot \Phi \left(x_j\right)\right)-\sum _{i=1}^n{\alpha }_i$$
   $$\text{ s.t. }\sum _{i=1}^n{\alpha }_i{y}_i=0$$
   $${\alpha }_i\ge 0,i=1,2,\dots ,n$$
      求得最优解${\alpha }^{\ast }$
   （5）举例