机器学习算法（一）：支持向量机SVM_支持向量机法-优快云博客

本文链接：https://blog.youkuaiyun.com/hhshbubaoyuan/article/details/134591337

线性可分：

一个训练集线性可分是指：对于 $\{(x_i,y_i)\}_{i=1\sim N}$ ， $\exists(\omega,b)$ ，使 $\forall i=1\sim N$ ，若 $y_i=+1$ ，则 $\omega^Tx_i+b\ge 0$ ；若 $y_i=-1$ ，则 $\omega^Tx_i+b<0$ 。

超平面：

如图1所示，给定训练样本集 $D={(x_1,y_1),(x_2,y_2),...,(x_m,y_m)}$ ，其中 $x_i\in R^d, y_i\in \{-1,+1\}$ 分类方法最基本的想法就是基于训练集D在样本空间找到一个划分超平面，将不同类别的样本分开。

图1 超平面

在样本空间中，划分超平面可通过如下线性方程来描述：

$\omega^Tx+b=0$

其中， $\omega=(\omega_1;\omega_2;...;\omega_d)$ 为法向量，决定了超平面的方向；b为位移项，决定了超平面与原点之间的距离。样本空间任意点x到超平面 $(\omega, b)$ 的距离可写为：

$d=\frac{|\omega^Tx+b|}{||\omega||}$

支持向量：

若超平面 $(\omega,b)$ 能将训练样本正确分类，则总存在缩放变换 $a\omega\rightarrow \omega$ 和 $ab\rightarrow b$ 使下式成立：

$\omega^Tx+b\ge+1,y_i=+1$

$\omega^Tx_i+b\le-1,y_i=-1$

如图2所示，距离超平面最近的这几个训练样本使上式成立，它们被称为“支持向量”（support vector），两个异类支持向量到超平面的距离之和为

$d=\frac{2}{||\omega||}$

图2 支持向量与间隔

支持向量机的优化：

最大化 $d=\frac{2}{||\omega||}$ ,即最小化： $\frac{1}{2}||\omega||^2$ ，限制条件： $y_i(\omega^Tx_i+b)\ge 1(i=1\sim N)$ 。

SVM处理非线性问题：

最小化 $\frac{1}{2}||\omega||^2+C\sum_{i=1}^{N}{\xi_i}$ ， $\xi_i$ 为正则项，限制条件为 $y_i(\omega^Tx_i+b)\ge 1-\xi_i, \xi_i\ge0$ 。