day6 SVM支持向量机

6.1什么是支持向量机

一个二分类模型，寻找决策边界最宽的一个超平面将数据进行分割
解决问题的步骤：
*把所有样本和其对应的分类标记交给算法进行训练
*如果发现线性可分，那么直接找出超平面
*如果发现线性不可分，那么先进行映射到高维（接近无限高）再找超平面 事实上并没有映射只是将其计算结果映射到相应维度（因为得出的值是相同的）
*最后得到的超平面就是分类函数的表达式

显然第二个比第一个好一些

6.2 推导过程

6.2.1距离和目标函数

距离
有这样一个平面，如何求点X到该平面的距离呢？

求点到平面的距离，只要求点到点在方向量上的映射即可
设平面$w^{T}X+b=0$上有点X’ X’’ 可以求出向量
$$\overrightarrow{X^{\prime }{X}^{\prime \prime }}=(X^{\prime \prime }-X^{\prime })$$
$$w^T{X}^{\prime }=-b,w^T{X}^{\prime \prime }=-b$$
则可以求出平面法向量$W^T$
$$\left(w^T(x^{\prime \prime }-x^{\prime })\right)=0$$
距离表达式如下：
$$d=\left|\frac{w^T}{|w|}(X-X^{\prime })\right|=\frac{1}{|w|}|w^{T}x+b|$$
目标
有这样的数据集：(X1,Y1)(X2,Y2)… (Xn,Yn)
Y为样本类别：
当X为正时 Y=+1
当Y为负时 Y=-1
决策方程为$y_{(}x)=w^T\Phi (x_i)+b$

$$y_{(x_i)>0}<=>y_i=+1$$
$$y_{(x_i)<0}<=>y_i=-1$$
推出$y_i\ast y_{(}{x}_i)>0$
优化目标
通俗的讲：找到一个条件（w和b），使得离该平面最近的点最远
点到直线的距离简化为:
$$\frac{y_i\ast (w^T\Phi (x_i)+b)}{||W||}$$
则目标为
m a x { 1 ∣ ∣ W ∣ ∣ m i n { y i ∗ ( w T Φ ( x i ) + b ) } } max\lbrace\frac{1}{||W||}min\lbrace{y_{i}*(w^{T}\Phi(x_i)+b)}\rbrace\rbrace max{∣∣W∣∣1​min{yi​∗(wTΦ(xi​)+b)}}
将$y_{(i)}\ast y_{(x_i)}>0$放缩变换得到：
$$y_{(i)}\ast y_{(x_i)}\ge 1$$
$$y_i\ast (w^T\Phi (x_i)+b)\ge 1$$
那么$y_i\ast (w^T\Phi (x_i)+b)$的最小值为1
只需要考虑
$$max\frac{1}{||W||}$$
约束条件
$$y_i\ast (w^T\Phi (x_i)+b)\ge 1$$
然后将求极大值问题转化为求极小值问题
$$mi{n}_{w,b}\frac{1}{2}{w}^2$$
然后使用拉格朗日乘子法求解

6.2.2使用拉格朗日乘子法解SVM

先转化

带约束的优化问题：
$$mi{n}_x{f}_0(x)$$
约束为
$$f_i(x)\le 0,i=1,...m$$
$$h_i(x)\le 0,i=1,...q$$
原式转化为：
$$min{L}_{(x,\lambda ,v)}=f_{(x)}+\sum _{i=1}^m{\lambda }_i{f}_i(x)+\sum _{i=1}^q{v}_i{h}_i(x)$$
套下这个式子那么咱们的式子为：
$$L(w,b,a)=\frac{1}{2}||w|{|}^2-\sum _{i=1}^n{\alpha }_i(y_i(w^T\ast {\Phi }_{(x_i)+b})-1)$$
约束条件$y_i\ast (w^T\Phi (x_i)+b)\ge 1$

SVM求解

分别对w和b求偏导，分别得到两个条件（基于对偶性质）
$$mi{n}_{w,b}ma{x}_a{L}_{(w,b,a)}=ma{x}_{a}mi{n}_{w,b}{L}_{(w,b,a)}$$
对w求偏导:
$$\frac{\delta L}{\delta W}=0=>w=\sum _{i=1}^n{\alpha }_i{y}_i{\Phi }_{(x_n)}$$
对b求偏导: \frac{δL}{δW}=0 =>0=\sum_{i=1}^{n}α_iy_iKaTeX parse error: Can't use function '$' in math mode at position 9: 带入原始公式:$̲L(w,b,a)=\frac{…\frac{1}{2}*w^{T}*w-wT\sum_{i=1}^{{n}α_iy_iΦ_{(x_i)}-b\sum_{i=1}}{n}α_iy_i+\sum_{i=1}^{n}α_iKaTeX parse error: Can't use function '$' in math mode at position 2: $̲=\sum_{i=1}{n}α…min_α \frac{1}{2}\sum_{i=1}^{{n}\sum_{j=1}}{n}α_iα_jy_iy_jΦ_(x_i)Φ_(y_i)-\sum_{i=1}^{n}Φ_i$$
条件：
${\sum }_{i=1}^n{\alpha }_i{y}_i=0$
${\alpha }_i\ge 0$

6.2.3 SVM求解实例

6.3 软间隔

要使整体很小当C大时${\xi }_i$就越小，则意味着不能容忍错误

6.4 低维不可分或者难分解时

需要映射到高维实际上并没有映射到高维，还是在低维计算将结果映射到高维
例如

6.7 高斯核函数

可以认为转化到一个无穷高的维度
$k_{(x,y)}=exp-\frac{||x-y|{|}^2}{2{\sigma }^2}$

6.8 SVM的应用实践

别人写的，很好。点着个跳转。