SVM

SVM

---

问题的提出

针对分类问题，我们经常会尝试构建一个线性判别边界，尝试将样本进行划分。

通过进行特征变换，支持向量机将在变换后的大的特征空间内产生超平面判别边界，对应在原空间为非线性边界。

假设我们有 $N$ 个数据 ( x i , y i ) , x i ∈ R p , y i ∈ { − 1 , 1 } (x_i,y_i),x_i \in R^p,y_i \in \{-1,1\} (xi​,yi​),xi​∈Rp,yi​∈{−1,1}

定义超平面

{ x : f ( x ) = x T β + β 0 = 0 } \{x: f(x) = x^T\beta + \beta_0 = 0\} {x:f(x)=xTβ+β0​=0}

导出的优化问题为：

$$\underset{\beta ,{\beta }_0,||\beta ||=1}{\max }C$$ $$y_i(x_i^T\beta +{\beta }_0)\ge C,i=1,...,N$$

等价于

$$\underset{\beta }{\min }||\beta ||$$ $$y_i(x_i^T\beta +{\beta }_0)\ge 1,i=1,...,N$$
即此时$C=1/||\beta ||$

对应软间隔形式可以写为：

$$\underset{\beta }{\min }||\beta ||$$ $$y_i(x_i^T\beta +{\beta }_0)\ge 1-{\xi }_i,{\xi }_i\ge 0,\sum {\xi }_i\le K$$

关于 $K$ 的理解：
${\xi }_i$代表了使得预测 $f(x_i)={\beta }_0+x_i^T\beta$ 出现在错误一侧的比例
那么 $\sum {\xi }_i\le K$ 控制了出错的总比例

进一步可以写成等价的便于求解的形式，将 $||\beta ||$ 写成二次，同时将 $\sum {\xi }_i\le K$ 写入优化目标：
$$\underset{\beta }{\min }\frac{1}{2}||\beta |{|}^2+\gamma \sum _{i=1}^N{\xi }_i$$ $$y_i(x_i^T\beta +{\beta }_0)\ge 1-{\xi }_i,{\xi }_i\ge 0$$

---

问题的求解

容易写出对应的拉格朗日函数

$$L=\frac{1}{2}||\beta |{|}^2+\gamma \sum _{i=1}^N{\xi }_i-\sum _{i=1}^N{\alpha }_i[y_i(x_i^T\beta +{\beta }_0)-(1-{\xi }_i)]-\sum _{i=1}^N{\mu }_i{\xi }_i$$

对参数 $\beta ,{\beta }_0,{\xi }_i$ 求偏导，对其极小化

$$\beta =\sum _{i=1}^N{\alpha }_i{y}_i{x}_i$$ $$0=\sum _{i=1}^N{\alpha }_i{y}_i$$ $${\alpha }_i=\gamma -{\mu }_i,\forall i$$

我们可以得到对应的对偶函数：

$$L_D=\sum _{i=1}^N{\alpha }_i-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j$$

对应加入 $KKT$ 条件

$${\alpha }_i[y_i(x_i^T\beta +{\beta }_0)-(1-{\xi }_i)]=0$$ $${\mu }_i{\xi }_i=0$$ $$y_i(x_i^T\beta +{\beta }_0)-(1-{\xi }_i)\ge 0$$

可以发现 $\beta$ 的解的形式为：

$$\hat{\beta }=\sum _{i=1}^N{\hat{\alpha }}_i{y}_i{x}_i$$

同时由条件
$${\alpha }_i[y_i(x_i^T\beta +{\beta }_0)-(1-{\xi }_i)]=0$$
可以发现对于那些具有非零系数 ${\alpha }_i$的观测样本， $\hat{\beta }$ 只由这些样本表示，这些样本被称为支持向量。

这些样本中，除了部分在边缘处，即有 ${\xi }_i=0$,则由 ${\mu }_i{\xi }_i=0,{\alpha }_i=\gamma -{\mu }_i$，得出这些样本将会由 $0<{\hat{\alpha }}_i<\gamma$ 来刻画；其余的 ${\xi }_i>0$ 的样本，有 ${\hat{\alpha }}_i=\gamma$

求解
$$L_D=\sum _{i=1}^N{\alpha }_i-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j$$ $$C\ge {\alpha }_i\ge 0,i=1,...,m$$ $$\sum _{i=1}^m{\alpha }_i{y}_i=0$$

对应的 $KKT$ 条件为

$$\{\begin{array}{l}{\alpha }_i\ge 0,{\mu }_i\ge 0,\\ y_{i}f(x_i)-1+{\xi }_i\ge 0,\\ {\alpha }_i(y_{i}f(x_i)-1+{\xi }_i)=0,\\ {\xi }_i\ge 0,{\mu }_i{\xi }_i=0.\end{array}$$

其中 $$f(x_i)=x_i^T\beta +{\beta }_0$$

是一个较为简单的凸二次规划问题。可以使用标准的求解方式进行求解。

核形式：

$$L_D=\sum _{i=1}^N{\alpha }_i-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}k(x_i,x_j)$$ $$C\ge {\alpha }_i\ge 0,i=1,...,m$$ $$\sum _{i=1}^m{\alpha }_i{y}_i=0$$

---

$SMO$ 算法

我们容易发现，$SVM$ 的最终优化目标是找到一组 $\alpha$ 以及 $b$。

$SMO$ 算法采用了一种分而治之的想法，每一次只优化其中两个参数 ${\alpha }_i,{\alpha }_j.$ 至于一次优化两个参数的原因为约束 $$\sum _{i=1}^m{\alpha }_i{y}_i=0$$
的存在使得我们一次最少要同时优化两个参数。

下面给出 $SMO$ 的具体细节：

当我们只考虑 ${\alpha }_1,{\alpha }_2$ 时，优化目标就变成

$$min\frac{1}{2}{K}_{11}{\alpha }_1^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_1{y}_2{K}_{12}{\alpha }_1{\alpha }_2-({\alpha }_1+{\alpha }_2)$$$$+{\alpha }_1{y}_1\sum _{i̸=1,2}^N{\alpha }_i{y}_i{K}_{1i}+{\alpha }_2{y}_2\sum _{j̸=1,2}^N{\alpha }_j{y}_j{K}_{2j}+c$$

其中 $c$ 是一个与 ${\alpha }_1,{\alpha }_2$ 无关的常数, $K_{ij}$ 代表 $K(x_i,x_j)$.

由约束条件可以得到

$${\alpha }_1{y}_1+{\alpha }_2{y}_2=C\Rightarrow {\alpha }_1=(C-{\alpha }_2{y}_2)y_1$$

代入上式可得

$$minl({\alpha }_2)=\frac{1}{2}{K}_{11}(C-{\alpha }_2{y}_2{)}^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_2{K}_{12}{\alpha }_2(C-{\alpha }_2{y}_2)$$$$-y_1(C-{\alpha }_2{y}_2)-{\alpha }_2+(C-{\alpha }_2{y}_2)\sum _{i̸=1,2}^N{\alpha }_i{y}_i{K}_{1i}+{\alpha }_2{y}_2\sum _{j̸=1,2}^N{\alpha }_j{y}_j{K}_{2j}+c$$

上式对 ${\alpha }_2$ 求偏导可以得到

$$\frac{\partial l({\alpha }_2)}{\partial {\alpha }_2}=(K_{11}+K_{22}-2K_{12}){\alpha }_2-K_{11}C{y}_2+K_{12}C{y}_2+y_1{y}_2$$$$-1-y_2\sum _{i̸=1,2}^N{\alpha }_i{y}_i{K}_{1i}+y_2\sum _{j̸=1,2}^N{\alpha }_j{y}_j{K}_{2j}$$

由约束条件可以得到：

$$\{\begin{array}{l}{\alpha }_1^{old}{y}_1+{\alpha }_2^{old}{y}_2=C\\ {\sum }_{i̸=1,2}^N{\alpha }_i{y}_i{K}_{1i}=f(x_1)-y_1{\alpha }_1{K}_{11}-y_2{\alpha }_2{K}_{12}-b\\ {\sum }_{j̸=1,2}^N{\alpha }_j{y}_j{K}_{2j}=f(x_2)-y_1{\alpha }_1{K}_{21}-y_2{\alpha }_2{K}_{22}-b\end{array}$$

代入上式化简后可得

α 2 n e w = α 2 o l d + y 2 { [ f ( x 1 ) − y 1 ] − [ f ( x 2 ) − y 2 ] } K 11 + K 22 − 2 K 12 \alpha_2^{new} = \alpha_2^{old} + \frac{y_2\{[f(x_1) - y_1] - [f(x_2) - y_2]\}}{K_{11}+K_{22}-2K_{12}} α2new​=α2old​+K11​+K22​−2K12​y2​{[f(x1​)−y1​]−[f(x2​)−y2​]}​

我们得到了更新 ${\alpha }_2$ 的主要公式，但是由于 ${\alpha }_2$ 有取值范围 $(0,C)$ ，所以需要进行一定的修改

$${\alpha }_1{y}_1+{\alpha }_2{y}_2=k$$

同时 $y$ 的取值就只有 $1,-1$，所以容易讨论出最终的更新公式为

$$\{\begin{array}{ll}{\alpha }_2=high,& {\alpha }_2^{new}\ge high;\\ {\alpha }_2=low,& {\alpha }_2^{new}\le low;\\ {\alpha }_2={\alpha }_2^{new},& low<{\alpha }_2^{new}<high\end{array}$$

其中
$$\{\begin{array}{l}low=max(0,-k)\\ high=min(C,C-k)\end{array}$$

对应 ${\alpha }_1$ 的更新公式为

$${\alpha }_1^{new}={\alpha }_1^{old}+y_1{y}_2({\alpha }_2^{old}-{\alpha }_2^{new})$$

接下来给出 $b$ 的更新公式

$$\{\begin{array}{l}{b}_1^{new}=-E_1-y_1{K}_{11}({\alpha }_1^{new}-{\alpha }_1^{old})-y_2{K}_{21}({\alpha }_2^{new}-{\alpha }_2^{old})+b^{old},\\ b_2^{new}=-E_2-y_1{K}_{12}({\alpha }_1^{new}-{\alpha }_1^{old})-y_2{K}_{22}({\alpha }_2^{new}-{\alpha }_2^{old})+b^{old},\\ b_{new}=\frac{b_1^{new}+b_2^{new}}{2}\end{array}$$

其中

$$E_i=f(x_i)-y_i$$

为预测误差

那么如何选取 ${\alpha }_1,{\alpha }_2$ ?

在已经选取了 ${\alpha }_1$ 的条件下，我们通过选取与 ${\alpha }_1$ 对应的预测误差值 差异最大的预测误差对应的样本，即

$$\underset{j̸=i}{\arg }\max |E_j-E_i|$$

第一个 $\alpha$ 的选取规则可以为：

初始选择为循环选择所有 ${\alpha }_i$ ，然后每一次循环优化不为0的 ${\alpha }_i$ 即可。