硬间隔支持向量机(下)

1. 支持向量机

1.1 支持向量机模型

        给定一个线性可分数据集 D = { ( x i ， y i ) ∣ x i ∈ R n ， y i ∈ { − 1 ， 1 } } \mathcal{D}=\{(x_i，y_i)|x_i \in \mathcal{R^n}， y_i \in \{-1，1\}\} D={(xi​，yi​)∣xi​∈Rn，yi​∈{ −1，1}}，一个法向量 $\vec{w}$ 和偏置 $b$ ，则记 $M$ 为示例的最小几何间隔。
$$M=\underset{i=1,\dots ,m}{\min }{\gamma }_i=\underset{i=1,\dots ,m}{\min }{y}_i(\frac{{\vec{w}}^T}{||\vec{w}||}\overrightarrow{x_i}+\frac{b}{||\vec{w}||})\text{\hspace{1em}(1-5)}$$
通过公式 1-2 可知，SVM 优化问题可以写成下面形式：
$$\begin{gathered} \underset{\vec{w},b}{\max }M \\ s.t.{\gamma }_i\ge M，i=1,\cdots ,m\text{\hspace{1em}(1-6)} \end{gathered}$$
这个约束条件保证了每个样本点的几何间隔只少为 $M$，即数据集 $\mathcal{D}$ 是线性可分的，具体来说：

1. 正样本($y_i=1$)：对于正样本，这个条件就变为 ${\vec{w}}^T\overrightarrow{x_i}+b\ge M||\vec{w}||$。这确保了正样本在超平面的正侧，并且距离超平面至少为 $M$。
2. 负样本($y_i=-1$)：对于负样本，这个条件就变为 ${\vec{w}}^T\overrightarrow{x_i}+b\le -M||\vec{w}||$。这确保了负样本在超平面负侧，并且距离超平面至少为 $M$。

        根据比率不变性，我们可以令 $M||\vec{w}||=1$，原优化问题的约束条件依然不变(数据线性可分)，简化后的方程如下：
$$\begin{gathered} \underset{\vec{w},b}{\max }\frac{1}{||\vec{w}||} \\ s.t.y_i({\vec{w}}^T\overrightarrow{x_i}+b)\ge 1，i=1,\cdots ,m \end{gathered}$$
在运筹学中，一般将最大值优化问题转化最小值优化问题，即
$$\begin{gathered} \underset{\vec{w},b}{\min }\frac{1}{2}||\vec{w}|{|}^2 \\ s.t.1-y_i({\vec{w}}^T\overrightarrow{x_i}+b)\le 0，i=1,\cdots ,m\text{\hspace{1em}(1-7)} \end{gathered}$$
其中，目标函数乘以 $\frac{1}{2}$ 为了简化优化过程。很显然，该优化为凸优化问题，更具体，它是一个二次优化问题 - 目标函数是二次函数，约束条件是线性函数。这个优化问题可以使用现成的二次规划(Quadratic Programming，QP)优化器进行求解。

1. 2 模型求解

1.2.1 原问题转换为Lagrange对偶问题

第一步： 固定 $\lambda$，让 $\mathcal{L}$ 关于 $\vec{w}$ 和 $b$ 最小化。
        构建Lagrange函数：
L = 1 2 ∣ ∣ w ⃗ ∣ ∣ 2 + ∑ i = 1 m λ i { 1 − y i ( w ⃗ T x i ⃗ + b ) } (1-8) \mathscr{L}=\frac{1}{2}||\vec{w}||^2 + \sum_{i=1}^{m}\lambda_i\{1 - y_i(\vec{w}^T\vec{x_i} + b)\} \tag{1-8} L=21​∣∣w ∣∣2+i=1∑m​λi​{ 1−yi​(w Txi​ ​+b)}(1-8)
解：
L = 1 2 w ⃗ T w ⃗ + ∑ i = 1 m λ i { 1 − y i ( w ⃗ T x i ⃗ + b ) } = 1 2 w ⃗ T w ⃗ + ∑ i = 1 m λ i − ∑ i = 1 m λ i y i w ⃗ T x i ⃗ − ∑ i = 1 m λ i y i b \begin{align*} \mathscr{L}&=\frac{1}{2}\vec{w}^T\vec{w} + \sum_{i=1}^{m}\lambda_i\{1 - y_i(\vec{w}^T\vec{x_i} + b)\} \\ &= \frac{1}{2}\vec{w}^T\vec{w} + \sum_{i=1}^{m}\lambda_i - \sum_{i=1}^{m}\lambda_iy_i\vec{w}^T\vec{x_i} - \sum_{i=1}^{m}\lambda_iy_ib \end{align*} L​=21​w Tw +i=1∑m​λi​{ 1−yi​(w Txi​ ​+b)}=21​w Tw +i=1∑m​λi​−i=1∑m​λi​yi​w Txi​ ​−i=1∑m​λi​yi​b​
对 $\vec{w}，b$求偏导，并令其等于0，可得
$$\begin{gathered} \frac{\partial \mathcal{L}}{\partial \vec{w}}=\vec{w}-\sum _{i=1}^m{\lambda }_i{y}_i\overrightarrow{x_i}=0 \\ \frac{\partial \mathcal{L}}{\partial b}=\sum _{i=1}^m{\lambda }_i{y}_i=0 \end{gathered}$$
则
$$\begin{gathered} \vec{w}=\sum _{i=1}^m{\lambda }_i{y}_i\overrightarrow{x_i} \\ \sum _{i=1}^m{\lambda }_i{y}_i=0 \end{gathered}$$
将以上结果代回式(1-8)，可得
L = 1 2 w ⃗ T w ⃗ + ∑ i = 1 m λ i − ∑ i = 1 m λ i y i w ⃗ T x i ⃗ − ∑ i = 1 m λ i y i b = 1 2 w ⃗ T ∑ i = 1 m λ i y i x i ⃗ − w ⃗ T ∑ i = 1 m λ i y i x i ⃗ + ∑ i = 1 m λ i = ∑ i = 1 m λ i − 1 2 w ⃗ T ∑ i = 1 m λ i y i x i ⃗ = ∑ i = 1 m λ i − 1 2 ( ∑ i = 1 m λ i y i x i ⃗ ) T ∑ i = 1 m λ i y i x i ⃗ = ∑ i = 1 m λ i − 1 2 ∑ i = 1 ， j = 1 m λ i λ j y i x i ⃗ T y j x j ⃗ (1-9) \begin{align} \mathscr{L}&=\frac{1}{2}\vec{w}^T\vec{w} + \sum_{i=1}^{m}\lambda_i - \sum_{i=1}^{m}\lambda_iy_i\vec{w}^T\vec{x_i} - \sum_{i=1}^{m}\lambda_iy_ib \\ &=\frac{1}{2}\vec{w}^T\sum_{i=1}^{m}\lambda_iy_i\vec{x_i} - \vec{w}^T \sum_{i=1}^{m}\lambda_iy_i\vec{x_i} + \sum_{i=1}^{m}\lambda_i \\ &=\sum_{i=1}^{m}\lambda_i - \frac{1}{2}\vec{w}^T\sum_{i=1}^{m}\lambda_iy_i\vec{x_i} \\ &=\sum_{i=1}^{m}\lambda_i - \frac{1}{2}(\sum_{i=1}^{m}\lambda_iy_i\vec{x_i})^T\sum_{i=1}^{m}\lambda_iy_i\vec{x_i} \\ &=\sum_{i=1}^{m}\lambda_i - \frac{1}{2}\sum_{i=1，j=1}^{m}\lambda_i\lambda_jy_i\vec{x_i}^Ty_j\vec{x_j} \end{align} \tag{1-9} L​=21​w Tw +i=1∑m​λi​−i=1∑m​λi​yi​w Txi​ ​−i=1∑m​λi​yi​b=21​w Ti=1∑m​λi​yi​xi​ ​−w Ti=1∑m​λi​yi​xi​ ​+i=1∑m​λi​=i=1∑m​λi​−21​w Ti=1∑m​λi​yi​xi​ ​=i=1∑m​λi​−21​(i=1∑m​λi​yi​xi​ ​)T