SVM 中的mathematics —— Basic SVM 和 Soft Margin SVM

1. Basic SVM

• 训练样本集：$\{(x_i, y_i), i=1,2,\cdots, m=m^++m^-\}$，其中，$x_i\in R^{n},y_i\in\{+1,-1\}$
• 目标 1)：找到一个超平面$\{x|w^Tx+b=0\}$对训练样本集进行分割。使得不同类别间的间隔尽可能大。
• 分类方程：
  $$H(x) = w^Tx + b$$

在任一点 $x$ 处，若 $H(x) > 0$，则 $x$ 属于第 I 类；若 $H(x) < 0$，则 $x$ 属于第 II 类。

1) 建模

假设分割两类样本点的超平面P的方程为 $\{x|w^Tx+b=0\}$，则总可以通过调节系数（两端同乘以一个系数）使得两类中距离超平面最近点分别位于平面P1: $\{x|w^Tx+b=+1\}$和平面P2: $\{x|w^Tx+b=-1\}$上。同时，P1和P2间的距离为：$\frac{2}{\Vert w\Vert_2}$

关于P1与P2间的距离为$\frac{2}{\Vert w\Vert_2}$的证明：

$w$的方向为平面P的法向量方向（即与平面垂直）。对于平面上任一点$x$，有：$w^Tx+b=0$，即$\Vert w\Vert\cdot\Vert x\Vert\cdot \cos\theta=0$，其中，$\theta$为$w$和$x$的夹角。因此，有$\Vert x\Vert\cdot \cos\theta = \frac{b}{\Vert w\Vert}$。其中，$\Vert x\Vert\cdot \cos\theta$为点$x$在$w$方向的投影，即为平面P到原点的距离。而P1与P2间的距离可以由P2到原点的距离减去P1到原点的距离求得，因此P1与P2见的距离为$\frac{2}{\Vert w\Vert_2}$

以上，我们便得到了如下的优化问题：

$$\begin{align} \max_{w,b}\ & \frac{2}{\Vert w\Vert_2}\\ s.t.\ & w^Tx_i+b\ge 1, where\ y_i=+1, i=1,2,\cdots,m^+\\ & w^Tx_j+b\le -1, where\ y_j=-1, j=1,2,\cdots,m^- \end{align}$$

为了便于求解，该问题可以转换为：

【式-0】优化问题表达式

$$\begin{align} \min_{w,b}\ & \frac{1}{2}w^Tw\\ s.t.\ & y_i(w^Tx_i+b)\ge 1,i=1,2,\cdots,m \end{align}$$

由于上述优化问题为凸优化问题，因此可以通过求解对偶问题来求解上述问题。

2) Lagrange乘子法求解 对偶问题：

【式-1】

$$L(w,b,\alpha)=\frac{1}{2}w^Tw-\sum_{i=1}^m\alpha_i\left[ y_i(w^Tx_i+b)-1 \right]$$
上式中，$\alpha_i$为对偶变量。
原问题的对偶问题为
$$\max_{\alpha} \inf_{w,b} L(w,b,\alpha)$$
因此，由KKT条件：

【式-2】

$$\begin{align} \frac{\partial L(w,b,\alpha)}{\partial w} = 0 & \Rightarrow w=\sum_{i=1}^m\alpha_iy_ix_i\\ \frac{\partial L(w,b,\alpha)}{\partial b} = 0 & \Rightarrow \sum_{i=1}^m\alpha_iy_i = 0 \end{align}$$
将 式-2 中的结果代入 式-1，有：
$$L(w,b,\alpha) = \sum_{i=1}^m\alpha_i-\frac{1}{2}\sum_{i=1}^m\sum_{j=1}^my_iy_j\alpha_i\alpha_jx_i^Tx_j$$

因此，对偶问题可以表达为：

【式-3】对偶问题

$$\begin{align} \max_{\alpha} & \sum_{i=1}^m\alpha_i-\frac{1}{2}\sum_{i=1}^m\sum_{j=1}^my_iy_j\alpha_i\alpha_jx_i^Tx_j \\ s.t.\ & \alpha_i\ge 0 ,i=1,2,\cdot,m\\ & \sum_{i=1}^m\alpha_iy_i=0 \end{align}$$

假设原问题和对偶问题的最优解为$w^*,b^*,\alpha^*$，由互补松弛条件：

$$\alpha_i^*\left[ y_i(x_i^Tw^*+b^*)-1 \right] = 0$$

因此，与$alpha_i^*>0$对应的$x_i$即为支持向量：满足$y_i(x_i^Tw^+b^) = \pm 1。由此可以解得所有变量：

$$w^*=\sum_{i=1}^m\alpha_i^*y_ix_i$$
$$b^* = y_i-(w^*)^Tx_i$$
为了提高模型的稳定性，$b^*$通常由下式求得：
$$b^* = \frac{1}{|S|}\sum_{i\in S}\left[ y_i-(w^*)^Tx_i \right]$$
其中，$S$为支持向量构成的集合。

对于任一新样本 $z$，可以通过下式给出其类别：

$$sign\left[ (w^*)^z+b^* \right] = sign\left( \sum_{i=1}^m\alpha_i^*y_ix_i^Tz+b^* \right)$$

2. Soft Margin SVM

1) 线性惩罚项

【式-4】优化问题表达式

$$\begin{align} \min_{w,b}\ & \frac{1}{2}w^Tw + C\sum_{i=1}^m\xi_i \\ s.t.\ & y_i(w^Tx_i+b)\ge 1-\xi_i,i=1,2,\cdots,m \\ & \xi_i \ge 0,i=1,2,\cdots,m \end{align}$$

【式-5】对偶问题表达式

$$\begin{align} \max_{\alpha} & \sum_{i=1}^m\alpha_i-\frac{1}{2}\sum_{i=1}^m\sum_{j=1}^my_iy_j\alpha_i\alpha_jx_i^Tx_j \\ s.t.\ & 0 \le \alpha_i \le C ,i=1,2,\cdot,m\\ & \sum_{i=1}^m\alpha_i y_i=0 \end{align}$$

【式-6】互补松弛条件

$$\alpha_i^*\left[ y_i(x_i^Tw^*+b^*)-1+\xi_i \right] = 0$$
因此，支持向量是 在分类超平面margin以内的所有点。

注意，由 式-6，$b^* = y_i-y_i\xi_i-(w^*)^Tx_i$，然而由于通过求解对偶问题并不能得到$\xi_i$的最优值，因此依照$xi_i=0$计算即可，即

$$b^* = \frac{1}{|S|}\sum_{i\in S}\left[ y_i-(w^*)^Tx_i \right]$$

对新样本的判别函数与 basic SVM相同，即：

$$sign\left[ (w^*)^z+b^* \right] = sign\left( \sum_{i=1}^m\alpha_i^*y_ix_i^Tz+b^* \right)$$

2) 二次惩罚项

【式-7】优化问题表达式

$$\begin{align} \min_{w,b}\ & \frac{1}{2}w^Tw + C\sum_{i=1}^m\xi_i^2 \\ s.t.\ & y_i(w^Tx_i+b)\ge 1-\xi_i,i=1,2,\cdots,m \\ & \xi_i \ge 0,i=1,2,\cdots,m \end{align}$$

【式-8】对偶问题表达式

$$\begin{align} \max_{\alpha} & \sum_{i=1}^m\alpha_i-\frac{1}{2}\sum_{i=1}^m\sum_{j=1}^my_iy_j\alpha_i\alpha_jx_i^Tx_j - \frac{1}{4C}\sum_{i=1}^m(\alpha_i+\beta_i)^2\\ s.t.\ & \alpha_i \ge 0, \beta_i \ge 0,i=1,2,\cdot,m\\ & \sum_{i=1}^m\alpha_i y_i=0 \end{align}$$

显然，$\beta_i^* = 0$。因此对偶问题可以进一步写作：

$$\begin{align} \max_{\alpha} & \sum_{i=1}^m\alpha_i-\frac{1}{2}\sum_{i=1}^m\sum_{j=1}^my_iy_j\alpha_i\alpha_jx_i^Tx_j - \frac{1}{4C}\sum_{i=1}^m\alpha_i^2\\ s.t.\ & \alpha_i \ge 0,i=1,2,\cdot,m\\ & \sum_{i=1}^m\alpha_i y_i=0 \end{align}$$

【注意】

惩罚项可以是任意函数，但需要保证优化问题的凸性。与线性惩罚项相比，二次惩罚项对奇异点更敏感。