SVM支持向量机学习笔记

目标检测(五)基于SVM的目标分类 支持向量机(support vector machines, SVM)是一种二分类模型,它的基本模型是定义在特征空间上的间隔最大的线性分类器,间隔最大使它有别于感知机;SVM 还包括核技巧,这使它成为实质上的非线性分类器。SVM 的的学习策略就是间隔最大化,可形式化为一个求解凸二次规划的问题,也等价于正则化的合页损失函数的最小化问题。SVM 的的学习算法就是求解凸二次规划的最优化算法。... 阅读详情

概述

支持向量机是(Support Vector Machine)是基于统计学习理论(Statistical Learning Theory, SLT)发展起来的一种新的机器学习的方法。

1963年,Vapnik在解决模式识别问题时提出了支持向量方法,这种方法从训练集中选择一组特征子集,使得对特征子集的划分等价于对整个数据集的划分,这组特征子集就被称为支持向量(SV),支持向量也就是距离分离面最近的那些点。

一个分类问题的分类平面可能有很多个,那么如何找到那个最优的分类平面?怎样的算最优的分类。

最优分类面考虑不但能将两类正确分开,且分类间隔最大,SVM考虑寻找一个满足分类要求的超平面,并且使训练集中的点距离分类面尽可能的远,也就是寻找一个分类面使它两侧的空白区域最大。
如下图中,右边的分类平面就优于左边的,右图的间隔比较大,左边图中,如果有类别2的右边的点有一点扰动,容易分类到第1类中,造成误判,而右图则相对不会出现这样的问题,可以看出大间隔是有用的。

在这里插入图片描述

线性SVM

寻找间隔最大的超平面的公式推导过程如下:

对于给定的训练数据集和超平面(w,b),定义超平面(w,b)关于样本点(x i,y i)(x~i, y~i)(x i,y i)的几何间隔是,y iy~iy i是类标记,为±1。
在这里插入图片描述
寻找最大间隔分离超平面也就是要找到参数w、b,使得最大化γ i γ~i~γ i ,
同时有一个约束条件是,所有的点和超平面的距离要大于或等于γ,即为一个约束优化问题
在这里插入图片描述

由于γ的取值不影响最优化问题的解,可以将w和b设置为λw和λb,对应得γ变成λγ,我们不妨设γ为1,则问题变成最大化1/∣∣w∣∣1/||w||1/∣∣w∣∣,由于最大化1/∣∣w∣∣1/||w||1/∣∣w∣∣和最小化1/∣∣2w2∣∣1/||2w^2 ||1/∣∣2w2∣∣是等价的,所以问题变成了
在这里插入图片描述
这是一个二次优化问题,采用拉格朗日乘子法,对每个样本引入拉格朗日系数α iα~iα i,α iα~iα i乘以约束条件,得到如下的拉格朗日函数
在这里插入图片描述
原始问题的变成求L(w,b,α)L(w,b,α)L(w,b,α)对w,b的极小值,对α求极大值。
L(w,b,α)L(w,b,α)L(w,b,α)分别对w和b求偏导,且令偏导等于0。
得出w的值,
在这里插入图片描述
再代入原L(w,b,α)L(w,b,α)L(w,b,α),可以得出下式
在这里插入图片描述
现在需要求出使得上式最大得α,即
在这里插入图片描述
约束条件是
在这里插入图片描述
求得的α可以再代入下式求出w和b,
其中w由前面求导得出公式,
在这里插入图片描述
b值得求解是由于对于支持向量,有
在这里插入图片描述
因此可以得出b的值
在这里插入图片描述
分离超平面是
在这里插入图片描述
求解的分类器是,其中sgn是符号函数,输入大于0时输出为1,小于0为-1。

以上便是求出间隔最大的超平面的过程,总结起来是求解一个约束最优问题。
由于最优超平面得解完全由支持向量决定,这种方法被称为支持向量机。

非线性SVM

对于非线性可分的数据样本,可能通过适当的函数变换,将其在高维空间中转化为线性可分。下图中,在1维是不可分,变换2维线性可分了。
在这里插入图片描述
因此,针对非线性的问题,解决办法是输入空间通过非线性变化到特征空间,在特征空间用线性分类求解。利用一个固定的非线性映射将数据映射到特征空间学习的线性分类器等价于基于原始数据学习的非线性分类器。

在这里插入图片描述
那么问题成了用什么样的非线性变换。
非线性变换有很多种,这里采用了核函数,核函数在特征空间中直接计算数据映射后的内积就像在原始输入数据的函数中计算一样,大大简化了计算过程
在这里插入图片描述

在进行变换后,无论变换的具体形式如何,变换对支持向量的影响是把两个样本在原特征空间中的内积变成了在新特征空间中的内积,新空间中的内积页是原特征的函数,可记作
在这里插入图片描述
K(x i ,x j )K(x~i~, x~j~)K(x i ,x j )被称作核函数,

变换空间的支持向量机可写为,就是把之前线性SVM决策函数中的(x i,x j)(x~i, x~j)(x i,x j)换成了核函数,

在这里插入图片描述
其中α和b的求解过程也是和线性SVM中一样的方式。
在这里插入图片描述
在这里插入图片描述
分析可得,只要知道核函数,没有必要知道非线性变换得实际形式,因此可以直接设计核函数而不用设计非线性变换。

一些常用的核函数:
在这里插入图片描述

总结

支持向量机的基本思想:
1)通过非线性变换将输入空间变换到一个高维空间
2)在这个新空间中求最优分类面即最大间隔分类面
非线性变换通过定义适当的内积核函数实现。

《机器学习实战》学习笔记第六章-支持向量机SVM 支持向量机是线性分类器,是一种学霸方法,能最大限度分开两个类,即不仅做得对,还要保证质量 阅读详情

相关推荐

吴恩达学习笔记-支持向量机SVM

SVM的优化函数 将代价函数中的log函数代替为图片中紫色线条所表示的函数,同时删除系数m,和正则化的系数λ,对于logistic函数的代价函数,可以表示为A+λB,而SVM的代价函数表示为cA+B 最后,SVM的代价函数表示为 logistic函数在输出为0-1的概率值 SVM的输出直接就是0或1,即最终的预测结果 ...

Joker_xun的博客 477

机器学习笔记(十)——入门支持向量机(SVM)

一、SVM原理与模型数学推导 支持向量机,SVM(Support Vector Machine),其实就是一个线性分类器。在最初接到这个算法时,我们可能会一头雾水:这个名词好奇怪[问号脸],怎么“支持”?什么“向量”,哪来的“机”? (一)由决策边界开始 1 分类中的“不适定问题” 首先,我们看一个简单的二分类问题。在二维的特征平面中,所有的数据点分为了两类:蓝色圆形和黄色三角。我们的目标是找到了...

weixin_43312354的博客 1551

Andrew Ng机器学习入门学习笔记(六)之支持向量机(SVM)

一.支持向量机的引入支持向量机(SVM)是一种极受欢迎的监督学习算法,为了引入支持向量机,我们首先从另一个角度看逻辑回归。1.从单个样本代价考虑假设函数hθ(x)=11+e−θTxh_\theta(x)=\frac{1}{1+e^{-\theta^Tx}}。由于S型函数有如下图的特性,则,如果y=1y=1,那我们希望hθ(x)≈1h_\theta(x)≈1,即θTx>>0\theta^Tx>>0;如

SCUT_Arucee的博客 1万+

支持向量机SVM

一、支持向量机介绍 支持向量机(Support Vector Machine, SVM)是一类按监督学习方式对数据进行二元分类的广义线性分类器(generalized linear classifier),其决策边界是对学习样本求解的最大边距超平面(maximum-margin hyperplane)。SVM使用铰链损失函数(hinge loss)计算经验风险并在求解系统中加入了正则化项以优化结...

qq_32172681的博客 3178

【机器学习|学习笔记】详解支持向量机(Support Vector Machine,SVM)核函数之间的区别以及SVM如何处理多分类问题?

【机器学习|学习笔记】详解支持向量机(Support Vector Machine,SVM)核函数之间的区别以及SVM如何处理多分类问题?

2401_89898861的博客 1320

Python实战:5分钟搞定N-CMAPSS航空发动机数据集解析(附完整代码)

本文提供了一份针对N-CMAPSS航空发动机数据集的快速解析实战指南。通过Python的h5py库,详细演示了如何读取HDF5文件结构、理解数据分类(如传感器、健康参数、场景描述符)并加载为Pandas DataFrame。文章还澄清了数据集中常见的变量数量疑惑,并给出了从数据加载到构建剩余使用寿命预测模型预处理流水线的完整代码,帮助工程师和研究人员高效入门航空发动机预测性维护分析。

weixin_29057065的博客 422

人工智能(二):SVM

一、一些概念的初步了解 1、超平面 根据百度百科的解释,超平面是n维欧式空间中余维度等于一的线性子空间,也就是必须是(n-1)维度。这是平面中的直线、空间中的平面之推广(n大于3才被称为“超平面”),是纯粹的数学概念,不是现实的物理概念。因为是子空间,所以超平面一定经过原点。 n 维空间中的超平面是由方程: 定义的子集,其中是不全为零的常数。 超平面是为了分割分类用的,超平面将空间划分为...

zhongguoxin12的博客 4326

BMS应用软件开发 — 7 从特斯拉到问界:主流BMS硬件架构深度解析

本文深度解析了从特斯拉Model 3到问界M5的主流BMS硬件架构,探讨了BMS在电动汽车中的核心价值与应用软件开发的关键技术。通过对比分析两家厂商的硬件设计哲学、芯片选型策略及成本控制方法,揭示了BMS硬件系统如何影响电池性能与整车安全。文章特别分享了电压采样精度、EMC设计等实战经验,为BMS开发提供宝贵参考。

weixin_42554408的博客 458

机器学习:支持向量机(SVM)简介与其大间距分类性的推导

支持向量机(SVM)简介与其大间距分类性的推导,比吴恩达的讲解更具有一般性。

ShadyPi的IT笔记 1210

等保: Postgresql配置ssl链接

等保: postgresql配置ssl链接完整方案和避坑指南

weixin_43557605的博客 4383

Windows安装Pytorch3d

pytorch和pytorch3d版本对应关系如下:https://github.com/facebookresearch/pytorch3d/releasescuda和NVIDIA CUB版本对应关系如下:https://github.com/NVIDIA/cub/releases?page=1本人配置如下:GPU:1050TiCUDA:11.1python:3.8。

Snakewood的博客 4287

【机器学习|学习笔记】详解支持向量机(Support Vector Machine,SVM)之为什么要将求解SVM的原始问题转换为对偶问题?

【机器学习|学习笔记】详解支持向量机(Support Vector Machine,SVM)之为什么要将求解SVM的原始问题转换为对偶问题?

2401_89898861的博客 1030

端到端自动驾驶:特斯拉FSD Beta技术拆解

端到端自动驾驶:特斯拉FSD Beta技术拆解 ,人工智能,计算机视觉,大模型,AI,这篇文章围绕特斯拉FSD Beta的端到端自动驾驶技术展开,先介绍端到端自动驾驶的定义、与传统方案的区别及FSD Beta的特点,再阐述其硬件基础、技术架构,解析关键技术,还涉及训练数据与标注、安全与冗余设计、实际应用场景与挑战以及技术迭代与更新等内容,展现了该技术的多方面情况。

不踩坑,不知道坑有多深;不总结,踩过的坑白踩。 18万+

[学习笔记] [机器学习] 10. 支持向量机 SVM(SVM 算法原理、SVM API介绍、SVM 损失函数、SVM 回归、手写数字识别)

SVM 算法原理、SVM API介绍、SVM 损失函数、SVM 回归、手写数字识别

Le0v1n 的博客 8961

【ROS2】手眼标定:moveit2_handeye_calib使用详解

moveit2_handeye_calib MoveIt2 官方的 手眼标定功能包,包含标定插件、图形化界面和示例程序。提供基于 ArUco/ChArUco 标定板的采集与求解功能。标定板下载aruco在线生成器。

郭老二 248

深度解读华为Limera:从舱内激光视觉融合看前融合技术的发展与演进

华为Limera激光雷达摄像头融合技术推动自动驾驶感知升级 华为推出的Limera创新性地将激光雷达与摄像头深度集成,采用共光路设计实现数据天然对齐,在小型障碍物识别等关键场景展现卓越性能。该产品代表了传感器前融合技术从分立走向共生的演进趋势,通过硬件级集成解决了多源异构数据融合难题。随着索尼堆叠式传感器等技术的出现,未来智能汽车感知系统将向高度集成的"超级传感器"方向发展,实现更精准的环境感知。Limera的发布标志着前融合技术从"可用"迈向"极致&quo

致力于lidar应用开发 401

支持向量机(Support Vector Machine,SVM)学习笔记

##(标题格式未修改)支持向量机(SVM)概述 概述: 小例子:魔鬼和天使玩了一个游戏,魔鬼在桌上放了两种颜色的球,如图1所示。魔鬼让天使用一根木棍将它们分开。这对天使来说,似乎太容易了。天使不假思索地一摆,便完成了任务,如图2所示。 魔鬼又加入了更多的球。随着球的增多,似乎有的球不能再被原来的木棍正确分开。如图3所示: 按照这种球的摆法,世界上貌似没有一根木棒可以将它们完美分开。但天使毕竟有法力,他一拍桌子,便让这些球飞到了空中,然后凭借念力抓起一张纸片,插在了两类球的中间,如图4所示。从魔鬼的角度看

@木子李的博客 433

深度解析与实战:长短时记忆网络(LSTM)在股票走势预测中的应用(基于Python + PyTorch)

本文全面探讨了LSTM在股票价格预测中的应用,从理论基础到实践操作。文章首先强调了股票市场预测的重要性,并介绍了LSTM网络结构及其在处理时间序列数据中的优势。接着,详细说明了数据预处理的关键步骤,包括数据收集、清洗、特征选择和归一化。文章还讨论了LSTM模型的构建、训练和评估,并提供了Python及PyTorch的实操案例。最后,总结了LSTM在股票预测的成果,并提出了未来研究的方向,如模型优化和特征工程,旨在帮助读者掌握LSTM在股票价格预测中的应用,并探索提升模型性能的方法。

专注于人工智能、软件开发、工控自动化、工厂数字化及智能化等领域,希望和大家共同进步! 2105

支持向量机SVM学习笔记

SVM 核心思想 1.  Define an optimal hyperplane: maximize margin 2.  Extend the above definition for non-linearly separable problems: have a penalty term for misclassifications. 3.  Map data to h

I am not a quitter. 3988

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

OpenCV学习笔记(十六)——支持向量机(SVM)

支持向量机(Support Vector Machine,SVM)是一种二分类模型,目标是寻找一个标准(称为超平面)对样本数据进行分割,分割的原则是确保分类最优化(类别之间的间隔最大)。当数据集较小时,使用支持向量机进行分类非常有效。支持向量机是最好的现成分类器之一,这里所谓的“现成”是指分类器不加修改即可直接使用。

简简单单的学习笔记,致力于帮助更多前进路上的朋友~ 3514

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

支持向量机(SVM)学习笔记2

本篇笔记主要总结网上关于SVM的问答知识点,可供求职者面试时或者招聘人员专业面时参考。 SVM原理小结 SVM是一种二分类模型。它的基本模型是在特征空间中寻找间隔最大化的分离超平面的线性分类器。(间隔最大化是它的独特之处),通过该超平面实现对未知样本集的分类。 1 当训练样本线性可分时,通过硬间隔最大化,学习一个线性分类器,即线性可分支持向量机。 2 当训练数据近似线性可分时...

妙手书生的博客 1564

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

支持向量机(SVM)学习笔记

文章摘要 SVM(支持向量机)的核心目标是寻找最优划分超平面,以最大化分类间隔,提升模型泛化能力。其关键概念包括超平面(n-1维子空间)、支持向量(决定间隔的样本点)及间隔计算。通过拉格朗日乘子法将约束优化转化为对偶问题求解,确定超平面参数。针对复杂数据,引入软间隔(松弛因子)处理噪声,调整惩罚参数C平衡准确性与容错性;利用核函数(如高斯核)将低维不可分数据映射到高维空间,避免直接计算高维内积,有效解决非线性分类问题。SVM的优化目标与扩展方法使其兼具鲁棒性与灵活性。

2402_88703635的博客 987

支持向量机(SVM)数学推导学习笔记

在机器学习中,支持向量机是在分类问题和回归问题中常用的监督式的机器学习算法。在n维欧式空间中,找到一个最佳的超平面,把数据分为两类,使得每个类到超平面的距离最远。 给定数据集D={(x1,y1),(x2,y2),…,(xn,yn)}D=\{(x_1,y_1),(x_2,y_2),\dots,(x_n,y_n)\}D={(x1​,y1​),(x2​,y2​),…,(xn​,yn​)},其中,x∈Rn,y∈{−1,+1}x\in R^n,y\in\{-1,+1\}x∈Rn,y∈{−1,+1} 类似二维空间中直线

Naruto_8的博客 1401

支持向量机 SVM(学习笔记 + python编程练习)

这里写目录标题一、什么是支持向量机二、支持向量机背后的最优化问题三、Soft Margin和SVM正则化四、sklearn中的SVM五、SVM中使用多项式特征六、什么是核函数七、高斯核函数八、SVM解决回归问题 一、什么是支持向量机 二、支持向量机背后的最优化问题 三、Soft Margin和SVM正则化 四、sklearn中的SVM 五、SVM中使用多项式特征 六、什么是核函数 七、高斯核函数 八、SVM解决回归问题 ...

mango 1869

Sklearn学习笔记---支持向量机SVM中svm.svc使用

SVM及Sklearn使用 支持向量机SVM 支持向量机SVM,是常见的一种判别方法, 在机器学习领域是有监督学习模型,通常用来进行模式识别、分类及回归。 主要思想: 对线性可分情况进行判别;对线性不可分的情况,通过使用非线性映射算法将低维输入空间线性不可分的样本,转化为高维特征空间使其达到线性可分,从而使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能。 基于结构风险最小化理论...

shouke22的博客 1418
上一篇: (四)模型融合方法总结
下一篇: 堆排序和代码实现笔记
zhangycode
博客等级 码龄7年 5粉丝 16原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值