机器学习算法 —— SVM

本文详细介绍了支持向量机(SVM)这一有监督分类算法,包括其原理、如何寻找最大间隔超平面以及在数据线性可分与线性不可分情况下的处理策略。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、简介

  SVM,全名为支持向量机(Support Vector Machine),是一种应用广泛的有监督分类算法。它的基本模型是在特征空间上找到最佳的分割超平面使得训练集上正负样本间隔最大,通常用来解决二类问题,即标记只有两类。


二、原理

  SVM的主要思想是找出一个最佳的能够分开两类数据的超平面,并根据该超平面对测试数据进行预测。根据要分类的数据集不同,有线性可分和线性不可分两种情况。

2.1 线性可分

  当数据集线性可分时,我们可以用一个超平面将数据集中标记不同的两类数据在坐标轴上对应的点完全分开。在二维空间中用一条直线分割,在三维空间中用一个平面分割,以此类推。我们可以将这个超平面定义为:
wTx+b=0 \bold{w}^T\bold{x}+b=0 wTx+b=0
其中w\bold{w}wx\bold{x}x均为向量,w\bold{w}w为法向量,表示超平面的方向;x\bold{x}x为数据实例。bbb为偏移量,表示超平面到原点的距离。将向量展开后,该公式可化为:
∑i=1nwTxi+b=0 \sum_{i=1}^n\bold{w}^T\bold{x}_i+b=0 i=1nwTxi+b=0
  下面举例说明:

  在上图中有红、蓝两类点,现在我们需要找到一个超平面将这两类点分开,对比黄、绿、黑三条线:首先排除黄线,因为它并没有将两类点完全分开;绿线和黑线中,看起来黑线更适合作为分类标准,因为若以绿线为标准,S1区域中的点应该为蓝点,S2区域中的点应为红点,但从逻辑上判断,可能相反的结果更合理,即以黑线为标准。在SVM中,我们引入间隔的概念来判断一个超平面是否适合作为分类标准。间隔即为该超平面上下两侧距离其最近的点与其的距离之和,间隔越大,分类时越准确。
  在SVM算法中,我们选择的是最大间隔超平面(MMH,Max Margin Hyperplane)。若一超平面为MMH,则对于任意(xi,yi)(\bold{x}_i,y_i)(xi,yi),应有:
{wTxi+b≥1yi=1wTxi+b≤1yi=−1 \begin{cases} \bold{w}^T\bold{x}_i+b≥1& y_i=1\\ \bold{w}^T\bold{x}_i+b≤1& y_i=-1 \end{cases} {wTxi+b1wTxi+b1yi=1yi=1
即:
yi(wTxi+b)≥1 y_i(\bold{w}^T\bold{x}_i+b)≥1 yi(wTxi+b)1
其中使等号成立的样本点与MMH的距离最近,被称为支持向量(support vector)。比如对于上图中的黑线,(2,4)(2,4)(2,4)(4,2)(4,2)(4,2)即为支持向量。
  由MMH方程可知,样本空间中任意一点到MMH的距离为:
r=∣wTx+b∣∣∣w∣∣ r=\frac{|\bold{w}^T\bold{x}+b|}{||\bold{w}||} r=wwTx+b
故支持向量到MMH的距离为:
1∣∣w∣∣ \frac{1}{||\bold{w}||} w1
故最大间隔为:
2∣∣w∣∣ \frac{2}{||\bold{w}||} w2
其中∣∣w∣∣||\bold{w}||w为向量的范数(norm),计算公式为:
∣∣w∣∣=∑i=1nwi2 ||\bold{w}||=\sqrt{\sum_{i=1}^{n}\bold{w}_i^2} w=i=1nwi2
所以若要求间隔最大的超平面,只需求2∣∣w∣∣\frac{2}{||\bold{w}||}w2的最大值,即:
max⁡w,b  2∣∣w∣∣s.t.  yi(wTxi+b)≥1,  i=1,2,3,…,m \max\limits_{\bold{w},b}\ \ \frac{2}{||\bold{w}||}\\ s.t.\ \ y_i(\bold{w}^T\bold{x}_i+b)≥1,\ \ i=1,2,3,\dots,m w,bmax  w2s.t.  yi(wTxi+b)1,  i=1,2,3,,m
也就是∣∣w∣∣||\bold{w}||w的最小值,即:
min⁡w,b  12∣∣w∣∣2s.t.  yi(wTxi+b)≥1,  i=1,2,3,…,m \min\limits_{\bold{w},b}\ \ \frac{1}{2}{||\bold{w}||}^2\\ s.t.\ \ y_i(\bold{w}^T\bold{x}_i+b)≥1,\ \ i=1,2,3,\dots,m w,bmin  21w2s.t.  yi(wTxi+b)1,  i=1,2,3,,m
这就是支持向量机的基本型。用拉格朗日乘子法可解得MMH的模型:
f(x)=wTx+b=∑i=1maiyixiTx+b f(\bold{x})=\bold{w}^T\bold{x}+b=\sum_{i=1}^ma_iy_i\bold{x}_i^T\bold{x}+b f(x)=wTx+b=i=1maiyixiTx+b
其中b{b}b的值为:
b=1∣S∣∑s∈S(1ys−∑i∈SaiyixiTxs) b=\frac{1}{|S|}\sum_{s∈S}\left(\frac{1}{y_s}-\sum_{i∈S}a_iy_i\bold{x}_i^T\bold{x}_s\right) b=S1sS(ys1iSaiyixiTxs)

2.2 线性不可分

  当数据集线性不可分时,在该维度内不存在可以区分两类数据的超平面,如下图:
  此时,我们需要用一个映射函数将数据映射到一个线性可分的高维空间中,找到对应的MMH,再将数据映射回原维度空间。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

SoCalledHBY

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值