白板推导：SVM

最新推荐文章于 2025-05-19 18:23:16 发布

原创最新推荐文章于 2025-05-19 18:23:16 发布 · 385 阅读

0 ·

CC 4.0 BY-SA版权

机器学习专栏收录该内容

17 篇文章

订阅专栏

支持向量机(SVM)

svm有三宝：间隔，对偶，核技巧。

svm又分成：hard margin svm；soft margin svm；kernel svm

间隔

svm思想：最大间隔分类器, $f(x)=sign(w^{*}x+b^{*})$

几何间隔： $y_{i}(w^{T}x_{i}+b) \frac{1}{||w||}$ （点到直线的距离）

函数间隔： $y_{i}(w^{T}x_{i}+b)$

$margin(w,b)=min_{w,b}distance(w,b,x_{i})=min_{w,b}\frac{1}{||w||}|w^{T}x_{i}+b|$

对于所有的x，满足最近的x与分类平面最远。

即：max margin(w,b)

$max margin(w,b) = min_{w,b} \frac{1}{2}w^{T}w ,s.t. y_{i}(w^T+b)\geq 1,i=1...N$

这是一个二次不等式凸优化。

hard margin svm

带约束优化目标：

$max margin(w,b) = min_{w,b} \frac{1}{2}w^{T}w ,s.t. y_{i}(w^T+b)\geq 1,i=1...N$

拉格朗日去约束：

$min_{w,b}max_{\lambda }\pounds (w,b,\lambda);s.t \lambda _{i}\geqslant 0$

$\pounds (w,b,\lambda)=\frac{1}{2}w^{T}w+\sum_{i=1}^{N}\lambda _{i}(1-y_{i}(w^{T}x_{i}+b))$

强对偶关系(线性二次凸优化问题满足强对偶)：

$max_{\lambda}min_{w,b}\pounds (w,b,\lambda);s.t \lambda _{i}\geqslant 0$

后面的最小化拉格朗日函数可以先对b求导代入后再对w求导得到最优解w

最后优化函数变为：

$max_{\lambda }-\frac{1}{2}\sum_{i=1}^{N}\sum_{j=1}^{N}\lambda _{i}\lambda _{j}y_{i}y_{j}x_{i}^{T}x_{j}+\sum_{i=1}^{N}\lambda _{i};s.t \lambda _{i}\geqslant 0;\sum_{i=1}^{N}\lambda_{i}y_{i}=0$

===>

$min_{\lambda }\frac{1}{2}\sum_{i=1}^{N}\sum_{j=1}^{N}\lambda _{i}\lambda _{j}y_{i}y_{j}x_{i}^{T}x_{j}-\sum_{i=1}^{N}\lambda _{i};s.t \lambda _{i}\geqslant 0;\sum_{i=1}^{N}\lambda_{i}y_{i}=0$

KKT条件<==>强对偶关系：

$\frac{\partial \pounds }{\partial b}=0$ ; $\frac{\partial \pounds }{\partial w}=0$ ; $\frac{\partial \pounds }{\partial \lambda }=0$ ;偏导等于0

$\lambda _{i}(1-y_{i}(w^{T}+b))=0$ ;约束

$\lambda _{i}\geqslant 0$ ;

$1-y_{i}(w^{T}+b)\leqslant 0$ ;

之前已得到： $w^{*}=\sum_{i=1}^{N}\lambda_{i}y_{i}x_{i}$ ，通过KKT条件可得x不为支持向量时λ为0，所以 $b^{*}=y_{k}-\sum_{i=1}^{N}\lambda_{i}y_{i}x_{i}^{T}x_{k}$ ；( $x_{k},y_{k}为支持向量$ )为支持向量。