SVM推导简述

1.SVM思路

1.函数间隔和几何间隔：

点距离分离平面的远近可以代表分类预测的确信度，在超平面$w\cdot x+b=0$确定的情况下，$|w\cdot x+b|$表示点x距离超平面的远近，由于$w,b$可以成比例改变，超平面不变，所以需要对分离平面法向量进行约束，因此定义函数间隔和几何间隔分别为：

$$\bar{\gamma}_i=y_i(w\cdot x_i+b)\\\gamma_i=\frac{y_i(w\cdot x_i+b)}{||w||}$$ 求所有样本的间隔最小值得: $$\bar{\gamma}=\min_{i=1,..,n}\bar{\gamma_i}\qquad\gamma=\min_{i=1,...,n}\gamma_i$$

2.线性可分间隔最大化：

直观理解：对最难分的点（离超平面最近的点）也要有足够大的确信度，因此可得到目标函数

$$\max_{w,b} \gamma\\\frac{y_i(w\cdot x_i+b)}{||w||}\geq \gamma,\quad i=1,..,n$$ 考虑几何间隔与函数间隔的关系，改写为 $$\max_{w,b} \frac{\bar{\gamma}}{||w||}\\y_i(w\cdot x_i+b) \geq \bar{\gamma},\quad i=1,..,n$$ 函数间隔$\bar{\gamma}$可根据$w,b$成比例改变，因此可取任意值，将其设为1，由于最大化$\frac{1}{||w||}$与最小化$\frac{1}{2}||w||^2$等价，得到线性可分支持向量机，是一个凸二次规划问题（统计学习方法P100） $$\min_{w,b} \frac{1}{2}{||w||^2}\\y_i(w\cdot x_i+b) \geq 1,\quad i=1,..,n$$

3.线性不可分加入松弛因子

不能完全把点分开时，在约束条件中加入松弛因子$\xi$，同时需要在目标函数中进行惩罚，并给出惩罚力度，得到线性支持向量机

$$\min_{w,b} \frac{1}{2}{||w||^2}+C\sum_{i=1}^{n}\xi_i\\y_i(w\cdot x_i+b) \geq 1-\xi_i,\quad i=1,..,n$$

4.转化为对偶形式

$$\min_\alpha \frac{1}{2}\sum_{i=1}^n\sum_{j=1}^n\alpha_i\alpha_jy_iy_j(x_i\cdot x_j)-\sum_{i=1}^n\alpha_i\\s.t. \sum_{i=1}^n\alpha_iy_i=0,\quad 0\leqslant \alpha_i\leqslant C$$ 此时，变量个数为样本长度，原问题变量个数为特征向量长度，只有支持向量$\alpha>0$分开的$x_i$变为向量内积方便使用核函数。当$0<\alpha<C$，则$\xi=0$,支持向量落在间隔边界上；当$\alpha=C,0<\xi<1$，分类正确，落在间隔边界和分离超平面之间；当$\alpha=C,\xi>1$，分类错误。再求解$w,b$，其中b可以用间隔边界上（$0<\alpha<C$）的一个点或所有点求平均得到 $$w=\sum_{i=1}^n\alpha_iy_ix_i,\quad b=y_j-\sum_{i=1}^ny_i\alpha_i(x_i\cdot x_j)$$

2.SVM模型另一种解释

1.判别模型

$$f(x)=sign(w\cdot x+b)$$

2.参数

决策边界法向量$w$,和决策边界截距$b$

3.目标函数（损失函数+正则化项）

1.损失函数（hinge loss）

$$L(y,w\cdot x+b)=[1-y(w\cdot x+b)]_+$$ $[z]_+$：当z>0时为z，z<0时为0。对于硬间隔SVM，损失函数为0，即使全部$1-y_i(w\cdot x_i+b)<0$
2.目标函数： $$Obj=\sum_{i=1}^{n}[1-y_i(w\cdot x_i+b)]_++\lambda ||w||^2$$ 最小化该目标函数等价于上述凸二次规划问题。令$[1-y_i(w\cdot x_i+b)]_+=\xi_i,\lambda=\frac{1}{2C}$可证明。
3. 目标函数决定了模型生成仅与支持向量有关，与其余大部分样本点无关