机器学习之支持向量机(SVM)深度总结

耳丨风

已于 2024-11-08 18:32:19 修改

阅读量1.1k

点赞数 14

CC 4.0 BY-SA版权

文章标签：支持向量机机器学习人工智能

于 2024-11-05 23:51:16 首次发布

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/weixin_72776924/article/details/143486762

一、支持向量机线性模型问题

1、线性可分的定义。

对于数据集（ $x_{1 }$ , $y_{1}$ ）,（ $x_{2}$ , $y_{2}$ ）......( $x_{n}$ , $y_{n}$ ),其中 $x_{i}$ 为多维的特征， $y_{i}$ 为其标签，其值取 $\pm 1$ ，存在（w, b）使得对于任意i=1~n，有

①：若 $y_{i}$ =1,则 $w^{T}\cdot X+b\geqslant 0$

②：若 $y_{i}$ =-1,则 $w^{T}\cdot X+b< 0$

几何意义即：存在一个超平面将y的不同类别分开

2、如下图所示，SVM分类即找到一个超平面位于margin的中间,且需要margin最大。图中绿色线条即为超平面，与黑色虚线相交的向量为支持向量，所以SVM所得的超平面仅仅与支持向量有关。

3、数学处理

SVM所求的超平面仅仅与支持向量有关，且超平面位于中间位置，因此：所有支持向量到超平面的距离是相同的。

对于任意一个支持向量 $x_{j}$ ,其到超平面的距离为：

$d=\frac{\left | w^{T}x_{j}+b \right |}{\left | \left | w \right | \right |}$

因为超平面 $w^{T}\cdot X+b= 0$ 与 $aw^{T}\cdot X+ab= 0$ 是同一个平面

使用正实数a缩放（w，b）得到（aw,ab），使得

$\left | w^{T}x_{j}+b \right |=1$

上述距离公式可变为

$d=\frac{1}{\left \| w \right \|}$

因此求最大化margin的问题可以转换为求最小化 $\left | \left | w \right | \right |$ ,等价于最小化 $\left \| w \right \|^{^{2}}$

其限制条件为： $y_{i}[w^{^{T}}x_{i}+b]\geq 1$ ,i=1~n,即在超平面两侧为不同的类别

上述问题归属于凸优化问题，最终要么有一个最优解，要么无解，这里不做深入探讨。

二、支持向量机非线性模型问题

1、对非线性模型，需在线性问题的基础上进行改造：

问题改为:最小化 $\frac{1}{2}\left \| w \right \|^{^{2}}+C\sum_{i=1}^{N}\varepsilon_{i}$ ,

限制条件为：① $y_{i}[w^{^{T}}x_{i}+b]\geq 1-\varepsilon _{i}$

② $\varepsilon _{i}\geqslant 0$

其中 $\varepsilon _{i}$ 为松弛变量， $C\sum_{i=1}^{N}\varepsilon_{i}$ 为正则项，C为超参数，需要提前设定，一般根据经验或结合实际情况取值。

2、将低维空间线性不可分的向量映射到高维空间中，使其线性可分。

若将低维的向量映射到无限维的高维空间中，则一定线性可分。

将N维的 $x$ 映射为更高维M维的 $\varphi (x)$ ，使其线性可分。

假定 $\varphi (x)$ 是无限维，

问题可转换为：最小化 $\frac{1}{2}\left \| w \right \|^{^{2}}+C\sum_{i=1}^{N}\varepsilon_{i}$ ,

限制条件为：① $y_{i}[w^{^{T}}\varphi (x_{i})+b]\geq 1-\varepsilon _{i}$

② $\varepsilon _{i}\geqslant 0$

其中， $\varphi (x_{i})$ 为无限维， $w$ 也为无限维。

不需要知道 $\varphi (x)$ 的显示表达式，只需要知道一个核函数：

最低0.47元/天解锁文章

200万优质内容无限畅学

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。