（一）SVM推导

最新推荐文章于 2025-06-16 16:24:27 发布

原创最新推荐文章于 2025-06-16 16:24:27 发布 · 885 阅读

3 ·

CC 4.0 BY-SA版权

机器学习基础专栏收录该内容

15 篇文章

订阅专栏

SVM模型就是用一个超平面H把正负样本分开的模型，如图1所示。

1、超平面的定义

假设 $\overrightarrow{w}$ 是垂直超平面H的法向量， $\overrightarrow{x_-}$ 是一个负样本， $\overrightarrow{x_+}$ 是一个正样本， $\overrightarrow{x_-}$ 、 $\overrightarrow{x_+}$ 在向量 $\overrightarrow{w}$ 的投影点分别是A,B。所有的样本满足公式(1)。

w \to | | w \to | | * x - - \to ⩽ | O C | ⩽ w \to | | w \to | | * x + - \to (1)

$\frac{\overrightarrow{w}}{||\overrightarrow{w}||}*\overrightarrow{x_-}\leqslant |OC|\leqslant \frac{\overrightarrow{w}}{||\overrightarrow{w}||}*\overrightarrow{x_+} \qquad(1)$
即

w \to | | w \to | | * x - - \to - | O C | ⩽ 0 ⩽ w \to | | w \to | | * x + - \to - | O C | (2)

$\frac{\overrightarrow{w}}{||\overrightarrow{w}||}*\overrightarrow{x_-}- |OC|\leqslant 0 \leqslant \frac{\overrightarrow{w}}{||\overrightarrow{w}||}*\overrightarrow{x_+} - |OC|\qquad(2)$
进一步可以转化为

w \to * x - - \to + b ⩽ 0 ⩽ w \to * x + - \to + b (3)

$\overrightarrow{w}*\overrightarrow{x_-}+b \leqslant 0 \leqslant \overrightarrow{w}*\overrightarrow{x_+} +b\qquad(3)$
所以，当样本满足公式(4)时候,则判定为正样本，反之，是负样本。其中，公式(4)中满足等式的点落在超平面H中。

w \to \cdot x \to + b ⩾ 0 (4)

$\overrightarrow{w}\cdot \overrightarrow{x}+b \geqslant 0 \qquad(4)$
这里写图片描述

图.1

2、训练样本满足的约束

由前面的分析可知，超平面H可以有无数条，然而，我们定义具有最大间隔的超平面才是最优的。如图.1所示，最大间隔指的是虚线H1与H2之间的距离。其中，H1,H,H2是平行的，并且H1到H的距离与H2到H的距离相等。由公式(4),并且向量 $\overrightarrow{w}$ 可以伸缩，可得

{w \to \cdot x + - \to + b ⩾ 1 w \to \cdot x - - \to + b ⩽ - 1 (5)

$\left\{\begin{matrix} \overrightarrow{w}\cdot \overrightarrow{x_+}+b \geqslant 1 \\ \overrightarrow{w}\cdot \overrightarrow{x_-}+b \leqslant -1 \end{matrix}\right. \qquad(5)$
即为了得到最优的分割超平面H，我们要求训练的正样本和负样本满足公式(5)，然后去求解最大的间隔。其中，落在虚线H1,H2的点使得公式(5)的等号成立，这些点称为支持向量。假设样本点的标签值

y∈{+1,−1}y∈{+1,−1} $y\in \{+1,-1\}$ 。代入公式(5)，有

{y + i (w \to \cdot x + - \to + b) ⩾ 1 y - i (w \to \cdot x - - \to + b) ⩾ 1 (6)

$\left\{\begin{matrix} y_i^+(\overrightarrow{w}\cdot \overrightarrow{x_+}+b) \geqslant 1 \\ y_i^-(\overrightarrow{w}\cdot \overrightarrow{x_-}+b) \geqslant 1 \end{matrix}\right. \qquad(6)$
公式(6)可以合并为通用的样本形式

y i (w \to \cdot x \to + b) ⩾ 1 (7)

$y_i(\overrightarrow{w}\cdot \overrightarrow{x}+b) \geqslant 1 \qquad(7)$
即所有的训练样本都满足公式(7)，其几何意义如图.1,所有的样本点都在虚线两侧，不允许跨过虚线。注意，预测样本的时候，是允许样本点跨越虚线区域的，因为判断的分界线是超平面H。

3、最大间隔的表示

如图.2所示，最大间隔等于正样本支持向量与负样本支持向量构成的向量 $\overrightarrow{x_+}-\overrightarrow{x_-}$ 在法向量 $\overrightarrow{w}$ 上的投影长度d。
这里写图片描述
投影长度d如公式(8)所示.

d = (x + - \to - x - - \to) \cdot w \to | | w \to | | (8)

$d=(\overrightarrow{x_+}-\overrightarrow{x_-})\cdot \frac{\overrightarrow{w}}{||\overrightarrow{w}||} \qquad(8)$
由于这里的

x+−→和x−−→x+→和x−→ $\overrightarrow{x_+}和\overrightarrow{x_-}$ 是支持向量，满足公式(9)

y i (w \to \cdot x \to + b) = 1 (9)

$y_i(\overrightarrow{w}\cdot \overrightarrow{x}+b) = 1 \qquad(9)$
把公式(9)代入公式(8)，可得

d = 2 | | w \to | |

$d=\frac{2}{||\overrightarrow{w}||}$
即求解最大间隔表示如下:

⎧ ⎩ ⎨ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ m a x 2 | | w \to | | s . t y i (w \to \cdot x \to + b) - 1 = 0

$\left\{\begin{matrix} max \frac{2}{||\overrightarrow{w}||} \\ \\ s.t \qquad y_i(\overrightarrow{w}\cdot \overrightarrow{x}+b) - 1=0 \end{matrix}\right.$
等价于求解

⎧ ⎩ ⎨ ⎪ ⎪ ⎪ ⎪ m i n 1 2 | | w \to | | 2 s . t y i (w \to \cdot x \to + b) - 1 = 0

$\left\{\begin{matrix} min \frac{1}{2}||\overrightarrow{w}||^2 \\ \\ s.t \qquad y_i(\overrightarrow{w}\cdot \overrightarrow{x}+b) - 1=0 \end{matrix}\right.$
其中，s.t 代表约束条件.