支持向量机SVM(Support Vector Machine)_十、支持向量机 (1) 什么是支持向量? (2) 支持向量机模型中分类间隔 (margin) 的-优快云博客

本文深入探讨了逻辑回归(Logistic Regression)与支持向量机(Support Vector Machine)两种分类算法的区别，详细解释了逻辑回归的基本原理及SVM中函数间隔、几何间隔的概念，并给出了SVM的对偶问题推导。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.前言

1.1 逻辑回归 Logistic Regression

LR是一种线性二分类方法。logistic函数(或sigmoid函数)将自变量 $x\in(-\infty,+\infty)$ 映射到 $(0,1)$ 上，即映射后到值被认为是属于 $y=1$ 的概率。Sigmoid函数表示为：

h θ (x) = g (θ T x) = 1 1 + e - θ T x

$h_\theta (x)=g(\theta ^T x) = \frac{1}{1+e^{-\theta^T x}}$
其中,

hθ(x)∈(0,1) $h_\theta(x)\in(0,1)$ .

P (y = 1 | x; θ) = h θ (x)

$P(y=1|x;\theta)=h_\theta(x)$

P (y = 0 | x; θ) = 1 - h θ (x)

$P(y=0|x;\theta)=1-h_\theta(x)$
逻辑回归的目的在于学习得到

θ $\theta$ ，使

y=1 $y=1$ 对应的特征

θTx>>0 $\theta^Tx>> 0$ ，

y=0 $y=0$ 对应的特征

θTx<<0 $\theta^Tx<< 0$ 。
SVM与LR不同在于：SVM考虑局部(不关心已经确定远离的点)；LR考虑全局(考虑远离的点可能通过调整中间线使其更加远离)。

1.2 函数间隔与几何间隔

函数间隔与几何间隔
给定一个训练样本 $(x^{(i)},y^{(i)})$ ，x为特征，y是结果便签。函数间隔定义如下：

γ ̂ = y (i) (w T x (i) + b)

$\hat{\gamma}=y^{(i)}(w^Tx^{(i)}+b)$
全局样本上的函数间隔

γ ̂ = m i n i = 1, \dots, m γ ̂ (i)

$\hat\gamma=\underset{i=1,\dots,m}{min}\hat\gamma^{(i)}$
A点至分割平面(线)的距离为A点

(x(i),y(i)) $(x^{(i)},y^{(i)})$ 至B点的距离，B点的

x=x(i)−γ(i)w||w|| $x=x^{(i)}-\gamma^{(i)}\frac{w}{||w||}$ ，代入

wTx+b=0 $w^{T}x+b=0$ 得，

γ (i) = (w | | w | |) T x (i) + b | | w | |

$\gamma^{(i)}=(\frac{w}{||w||})^Tx^{(i)}+\frac{b}{||w||}$ 则几何间隔定义为

γ (i) = y (i) ((w | | w | |) T x (i) + b | | w | |)

$\gamma^{(i)}=y^{(i)}\left(\left(\frac{w}{||w||}\right)^Tx^{(i)}+\frac{b}{||w||}\right)$
类似全局的几何间隔为

γ = m i n i = 1, \dots, m γ (i)

$\gamma=\underset{i=1,\dots,m}{min}\gamma^{(i)}$

1.3 最优间隔分类器(optimal margin classifier)

最优间隔分类器形式化表示为：

m a x γ, w, b γ s . t . y (i) (w T x (i) + b) \geq γ, i = 1, \dots, m | | w | | = 1

$max_{\gamma,w,b} \hspace{2mm} \gamma \\ s.t. \hspace{2mm} y^{(i)}\left(w^Tx^{(i)}+b\right) \ge \gamma, i=1,\dots,m \\ \hspace{4mm} ||w||=1$
等同于

m a x γ, w, b γ | | w | | s . t . y (i) (w T x (i) + b) \geq γ | | w | |, i = 1, \dots, m | | w | | = 1

$max_{\gamma,w,b} \hspace{2mm} \frac{\gamma}{||w||} \\ s.t. \hspace{2mm} y^{(i)}\left(w^Tx^{(i)}+b\right) \ge \frac{\gamma}{||w||} , i=1,\dots,m \\ \hspace{4mm} ||w||=1$
如果我们将全局的函数间隔定义为1，也即是将离超平面最近的点的距离定义为

1||w|| $\frac{1}{||w||}$ ，则上式等同于

m a x γ, w, b 1 | | w | | s . t . y (i) (w T x (i) + b) \geq 1 | | w | |, i = 1, \dots, m | | w | | = 1

$max_{\gamma,w,b} \hspace{2mm} \frac{1}{||w||} \\ s.t. \hspace{2mm} y^{(i)}\left(w^Tx^{(i)}+b\right) \ge \frac{1}{||w||} , i=1,\dots,m \\ \hspace{4mm} ||w||=1$
也可以写为

m i n w, b 1 2 | | w | | 2 s . t . y (i) (w T x (i) + b) \geq 1, i = 1, \dots, m

$min_{w,b} \hspace{2mm} \frac{1}{2}{||w||^2} \\ s.t. \hspace{2mm} y^{(i)}\left(w^Tx^{(i)}+b\right) \ge 1 , i=1,\dots,m$

1.4 拉格朗日对偶(Lagrange Duality)

情况一：对于如下的等式约束的二次规划问题：

m i n w f (w) s . t . h i (w) = 0, i = 1, \dots, l .

${min}_{w} \hspace{2mm} f(w) \\ s.t. \hspace{2mm} h_{i}(w) = 0, i=1,\dots,l.$
构造如下拉格朗日公式

L (w, β) = f (w) + \sum i = 1 l β i h i (w)

$L(w,\beta)=f(w)+\sum_{i=1}^{l} \beta_{i}h_{i}(w)$
其中，

l $l$ 为等式约束的个数。则

m i n w f (w) = m i n w, β L (w, β)

${min}_{w} \hspace{2mm} f(w) = {min}_{w,\beta} \hspace{2mm} L(w,\beta)$
而通过

∂L∂w=0 $\frac{\partial L}{\partial w}=0$ 可求得原命题的极值。
情况二：对于含有不等式约束的极值问题：

m i n w f (w) s . t . g i (w) \leq 0, i = 1, \dots, k . h i (w) = 0, i = 1, \dots, l .

${min}_{w} \hspace{2mm} f(w) \\ s.t. \hspace{2mm} g_{i}(w) \le 0, i=1,\dots,k.\\ \hspace{6mm} h_{i}(w) = 0, i=1,\dots,l.$
构造如下拉格朗日公式

L (w, α, β) = f (w) + \sum i = 1 k α i g i (w) + \sum i = 1 l β i h i (w)

$L(w,\alpha,\beta)=f(w)+\sum_{i=1}^{k} \alpha_i g_i(w) +\sum_{i=1}^{l} \beta_{i}h_{i}(w)$
其中，

αi≥0(i=1,…,k) $\alpha_i \ge 0 (i=1,\dots,k)$ ，可以得到

f (w) = m a x α, β : α i \geq 0 L (w, α, β)

$f(w) = {max}_{\alpha,\beta:\alpha_i \ge 0} \hspace{2mm} L(w,\alpha,\beta)$
则

m i n w f (w) = m i n w m a x α, β : α i \geq 0 L (w, α, β) \geq m a x α, β : α i \geq 0 m i n w L (w, α, β)

${min}_{w} \hspace{2mm} f(w) \\ = {min}_{w} \hspace{1mm} max_{\alpha,\beta:\alpha_i \ge 0} \hspace{2mm} L(w,\alpha,\beta) \\ \ge max_{\alpha,\beta:\alpha_i \ge 0} \hspace{1mm} min_{w} \hspace{2mm} L(w,\alpha,\beta)$
当以下KTT条件满足时，上式等价，即对偶问题是原问题的解，KTT条件分别为

\partial \partial w i L (w, α, β) = 0 ， i = 1, \dots, n (1) \partial \partial β i L (w, α, β) = 0 ， i = 1, \dots, l (2) α i g i (w) = 0 ， i = 1, \dots, k (3) g i (w) \leq 0 ， i = 1, \dots, k (4) a l p h a \geq 0 ， i = 1, \dots, k (5)

$\frac{\partial}{\partial w_i} L(w,\alpha,\beta) = 0，i=1,\dots,n \hspace{6mm} (1)\\ \frac{\partial}{\partial \beta_i} L(w,\alpha,\beta) = 0，i=1,\dots,l \hspace{6mm} (2) \\ \alpha_i g_i(w) = 0，i=1,\dots,k \hspace{6mm} (3) \\ g_i(w) \le 0，i=1,\dots,k \hspace{6mm} (4)\\ alpha \ge 0，i=1,\dots,k \hspace{6mm} (5)$

2. SVM对偶问题

SVM原优化问题为：

m i n w, b 1 2 | | w | | 2 s . t . y (i) (w T x (i) + b) \geq 1, i = 1, \dots, m

${min}_{w,b} \hspace{2mm} \frac{1}{2}{||w||^2} \\ s.t. \hspace{2mm} y^{(i)}\left(w^Tx^{(i)}+b\right) \ge 1 , i=1,\dots,m$
构造其拉格朗日函数：

L (w, b, α) = 1 2 | | w | | 2 - \sum i = 1 m α i [y (i) (w T x (i) + b) - 1]

$L(w,b,\alpha)= \frac{1}{2}{||w||^2} - \sum_{i=1}^{m}\alpha_i \left[y^{(i)}\left(w^Tx^{(i)}+b\right) -1\right]$

L $L$ 对

w $w$ ，

b $b$ 分别求偏导数：

\partial \partial w L (w, b, α) = w - \sum i = 1 m α y (i) x (i) = 0

$\frac{\partial}{\partial w}L(w,b,\alpha)=w-\sum_{i=1}^{m}\alpha y^{(i)}x^{(i)}=0$
则

w=∑mi=1αy(i)x(i) $w=\sum_{i=1}^{m}\alpha y^{(i)}x^{(i)}$ 。

\partial \partial b L (w, b, α) = - \sum i = 1 m α y (i) = 0

$\frac{\partial}{\partial b}L(w,b,\alpha)=-\sum_{i=1}^{m}\alpha y^{(i)}=0$
则

∑mi=1αy(i)=0 $\sum_{i=1}^{m}\alpha y^{(i)}=0$ 。
将

w=∑mi=1αy(i)x(i) $w=\sum_{i=1}^{m}\alpha y^{(i)}x^{(i)}$ 和

∑mi=1αy(i)=0 $\sum_{i=1}^{m}\alpha y^{(i)}=0$ 代入到

L(w,b,α) $L(w,b,\alpha)$ 得到

L (w, b, α) = \sum i = 1 m α i - 1 2 \sum i, j = 1 m y (i) y (j) α i α j (x (i)) T x (j)

$L(w,b,\alpha)=\sum_{i=1}^{m}\alpha_i - \frac{1}{2}\sum_{i, j=1}^{m}y^{(i)}y^{(j)}\alpha_i\alpha_j(x^{(i)})^Tx^{(j)}$
综合可知，SVM的对偶问题为

m a x α \sum i = 1 m α i - 1 2 \sum i, j = 1 m y (i) y (j) α i α j (x (i)) T x (j) s . t . α i \geq 0 ， i = 1, \dots, m \sum i = 1 m α i y (i) = 0

${max}_{\alpha} \hspace{2mm} \sum_{i=1}^{m}\alpha_i - \frac{1}{2}\sum_{i, j=1}^{m}y^{(i)}y^{(j)}\alpha_i\alpha_j(x^{(i)})^Tx^{(j)} \\ s.t. \hspace{2mm} \alpha_i \ge 0，i=1,\dots,m \\ \hspace{4mm} \sum_{i=1}^{m}\alpha_i y^{(i)}=0$
求出

αi $\alpha_i$ ，则可求出