机器学习算法四之SVM支持向量机原理详解

原创 已于 2022-12-14 16:23:57 修改 · 3.9k 阅读 · 35 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #计算机视觉 #opencv #目标检测 #分类

于 2022-04-10 18:09:42 首次发布
本文深入探讨了支持向量机（SVM）的决策边界选择、有监督学习中的数据标签定义，以及目标函数的推导过程。通过拉格朗日乘子法求解最优解，介绍了SVM如何通过软间隔优化处理噪声数据，并利用核函数将低维数据映射到高维空间，以解决线性不可分问题。重点讨论了高斯核函数在实际应用中的作用。

支持向量机SVM(Support Vector Machine)

1.解决问题思路展开

*要解决的问题：什么样的决策边界才是最好的？
*特征数据本身如果就很难分，该怎么办？
*计算负责度怎么样？能否实际应用？

==>目标：基于上述问题对SVM进行推导

1.1决策边界


右图中的决策边界更具容忍度，更加可靠

1.2 通过距离获得决策边界（求取点到面的距离）

在这里插入图片描述
通过平面上两点可以得到平面的法向量，进而获得与法相量平行的单位方向向量，通过平面外一点X到平面上一点x’的距离D在单位方向向量的投影可以求出距离d，其中，D乘以单位向量为与图中dist重合的向量，取其模即为距离d，计算公式如下：
在这里插入图片描述

1.3 数据标签定义，SVM为一种有监督算法

在这里插入图片描述

1.4 目标函数推导

在这里插入图片描述
中间涉及缩放、极大值与极小值相互转换、对偶性(了解即可)
在这里插入图片描述

2.目标函数推导过程

2.1 拉格朗日乘子法求解

在这里插入图片描述
先求出​​​​​​​alpha，进而求出w和b
在这里插入图片描述
在这里插入图片描述

2.2 化简最终目标函数

在这里插入图片描述
在这里插入图片描述

2.3 举例求解决策方程

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3. SVM特色

3.1 软间隔优化

边界上所有alpha不为零的点成为支持向量，非边界上的点的alpha值必为零，恒成立
在这里插入图片描述
有噪点加入时，引入软间隔~
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3.2 核函数（低维->高维）

在这里插入图片描述
通过核函数将低维数据映射到高维空间
在这里插入图片描述
在这里插入图片描述
多数情况下大都用高斯核函数：将原始特征映射成高斯空间中的距离特征
在这里插入图片描述

先这样吧，代码后续更新呢

参考：
B站唐博士带你学AI：一小时快速理解SVM原理

SVM支持向量机原理详解
LinxRds的博客
10-20 1540
SVM 考虑一个二分类问题。假设输入空间与特征空间为两个不同的空间。输入空间为欧式空间或离散集合，特征空间为欧式空间或希尔伯特空间。线性可分支持向量机、线性支持向量机假设这两个空间的元素一一对应，并将输入空间中的输入映射为特征空间中的特征向量。非线性支持向量机利用一个从输入空间到特征空间的非线性映射将输入映射为特征向量。所以，输入都由输入空间转换到特征空间，支持向量机的学习是在特征空间进行的。 希尔伯特空间：一个完备的内积空间。其中的元素可以度量长度以及元素之间的角度。相比于欧式空间的基底常为正交的实数轴
支持向量机SVM原理篇
雪伦的专栏
06-15 1万+
1.关键概念及学习目标 线性&非线性分类问题&核技巧 非线性分类问题是指通过利用非线性模型才能很好地进行分类的问题。如上图左侧，我们无法用直线（线性模型）将正负例正确分开，但可以用一条椭圆曲线（非线性模型）将他们正确分开。此时，我们可以进行一个非线性变换。 核技巧应用到支持向量机，其基本想法就是通过一个非线性变换将输入空间（欧氏空间或离散集合）对应于一个特征空间（希尔伯特空间），使得原有的超曲
【万字长文】从零掌握支持向量机（SVM）：详解与实战指南
最新发布
HRDMN的博客
10-09 1435
这篇文章介绍了支持向量机(SVM)的基本原理与应用实验。SVM是一种监督学习算法，通过寻找最优超平面实现分类，具有处理高维数据和非线性问题的优势。文章详细解析了硬间隔SVM、软间隔SVM和核技巧的数学原理，并进行了可视化实验比较不同核函数在月亮形、圆形和云团形数据集上的表现。实验结果表明：线性核适合简单线性可分数据，多项式核能处理部分非线性数据，RBF核最通用且效果最好，Sigmoid核在特定场景下有用。文章建议初学者先理解核心概念，通过可视化理解SVM工作原理，并推荐在不确定数据分布时优先尝试RBF核函数
SVM-支持向量机基本原理及应用
06-05
SVM-支持向量机基本原理及应用
支持向量机SVM
tsf的博客
03-04 1085
是什么？支持向量机SVM(Support Vector Machine）是一个有监督的学习模型。 SVM的主要思想可以概括为两点： ⑴它是针对线性可分情况进行分析，对于线性不可分的情况，通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分，从而 使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能； ⑵它基于结构风险最小化理论之上在特征空间中建构最优
SVM-支持向量机原理详解与实践之一
jcjx0315的博客
03-14 2万+
SVM -支持向量机原理详解与实践 前言 去年由于工作项目的需要实际运用到了SVM和ANN算法,也就是支持向量机和人工神经网络算法，主要是实现项目中的实时采集图片（工业高速摄像头采集）的图像识别的这一部分功能，虽然几经波折，但是还好最终还算顺利完成了项目的任务，忙碌一年，趁着放假有时间好好整理并总结一下，本文的内容包括：前面的部分是对支持向量机原理的分析，后半部分主要直接上手的一些实践
精选资源
机器学习技法Primal SVM线性支持向量机原理详解PPT
06-19
线性支持向量机（Linear Support Vector Machine, 简称LSVM）是机器学习领域中一种重要的分类算法。它的核心思想是寻找一个能够最大化类别间间隔的超平面，以此来构建一个鲁棒且具有良好泛化能力的模型。在本课程中...
机器学习之Dual SVM对偶支持向量机基本原理详解PPT
06-19
在机器学习领域，支持向量机（Support Vector Machines, SVM）是一种广泛应用的监督学习模型，尤其在分类和回归任务中表现出色。对偶支持向量机（Dual SVM）是SVM理论中的一个重要概念，它为解决高维空间中的非线性...
精选资源
代码 基于SVM支持向量机算法的降水量预测模型代码
06-04
代码 基于SVM支持向量机算法的降水量预测模型代码代码 基于SVM支持向量机算法的降水量预测模型代码代码 基于SVM支持向量机算法的降水量预测模型代码代码 基于SVM支持向量机算法的降水量预测模型代码代码 基于SVM支持...
机器学习知识图谱——支持向量机算法（SVM）
moton2017的博客
05-30 1322
支持向量机是一种强大的监督学习算法，可用于分类和回归问题，尤其擅长处理小样本、高维度、非线性问题。
【机器学习】支持向量机SVM-详解
2201_75415080的博客
10-24 3443
SVM全称是supported vector machine（支持向量机），即寻找到一个超平面使样本分成两类，并且间隔最大。SVM能够执行线性或非线性分类、回归，甚至是异常值检测任务。是机器学习领域最受欢迎的模型之一。SVM特别适用于中小型复杂数据集的分类。
SVM-支持向量机原理详解与实践之二
jcjx0315的博客
03-14 4325
SVM -支持向量机原理详解与实践之二  SVM原理分析 以下内容接上篇。 拉格朗日对偶性（Largrange duality）深入分析 前面提到了支持向量机的凸优化问题中拉格朗日对偶性的重要性。 因为通过应用拉格朗日对偶性我们可以寻找到最优超平面的二次最优化， 所以以下可以将寻找最优超平面二次最优化（原问题），总结为以下几个步骤： 在原始权重空间的带约束的优化问题。（注
分类算法SVM（支持向量机)
热门推荐
牧野的博客
11-01 5万+
支持向量机（Support Vector Machine ,SVM）的主要思想是：建立一个最优决策超平面，使得该平面两侧距离该平面最近的两类样本之间的距离最大化，从而对分类问题提供良好的泛化能力。对于一个多维的样本集，系统随机产生一个超平面并不断移动，对样本进行分类，直到训练样本中属于不同类别的样本点正好位于该超平面的两侧，满足该条件的超平面可能有很多个，SVM正式在保证分类精度的同时，寻找到这样
SVM-支持向量机原理详解一
m0_37985967的博客
06-03 679
转载 https://www.cnblogs.com/spoorer/p/6551220.html SVM-支持向量机原理详解与实践 前言 去年由于工作项目的需要实际运用到了SVM和ANN算法,也就是支持向量机和人工神经网络算法，主要是实现项目中的实时采集图片（工业高速摄像头采集）的图像识别的这一部分功能，虽然几经波折，但是还好最终还算顺利完成了项目的任务，忙碌一年，趁着放假有时间好好整理并总结一下，本文的内容包括：前面的部分是对支持向量机原理的分析，后半部分主要直接上手的一些实践的内容。 本文
SVM支持向量机基本原理
codelady_g的博客
03-14 1290
1.基本概念 支持向量机是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，核技巧使它成为实质上的非线性分类器。 模型：分离超平面w∗x+b∗=0w^{*}x+b^{*}=0w∗x+b∗=0 +决策函数f(x)=sign(w∗x+b∗)f(x)=sign(w^{*}x+b^{*})f(x)=sign(w∗x+b∗) 学习策略：硬间隔最大化 / 软间隔最大化 学习算法：凸二次规划 2.基本分类 线性可分支持向量机 线性 3.线性可分支持向量机 学
【SVM】- 支持向量机基本原理
兀坐晴窗独饮茶
06-07 8702
1.支持向量机 概述 支持向量机(Support Vector Machines, SVM)：是一种监督学习算法。 支持向量(Support Vector)就是离分隔超平面最近的那些点。 机(Machine)就是表示一种算法，而不是表示机器 支持向量机（SVM，也称为支持向量网络），是机器学习中获得关注最多的算法没有之一。它源于统计学习理论， 是我们除了集成算法之外，接触的第一个强学习器。它有...
支持向量机（SVM）原理（一）
qq_46033892的博客
08-23 1095
推荐初学者使用，了解支持向量机的原理
《统计学习方法》——支持向量机
日积月累，天道酬勤
11-30 753
死磕统计学习方法#支持向量机
SVM支持向量机原理
hebi123s的博客
10-18 369
   Svm（support Vector Mac）又称为支持向量机，是一种二分类的模型。当然如果进行修改之后也是可以用于多类别问题的分类。支持向量机可以分为线性核非线性两大类。其主要思想为找到空间中的一个更够将所有数据样本划开的超平面，并且使得本本集中所有数据到这个超平面的距离最短。     扩展阅读;https://blog.youkuaiyun.com/d__760/article/details/...
机器学习课程：SVM支持向量机与核函数解析
"清华出品的机器学习技术课程——统计学习方法第二版系列课程，涵盖了从基础的机器学习概念到各种具体算法的详细讲解，包括SVM支持向量机及核函数。课程内容全面且深入，适合对机器学习感兴趣的学员进行学习和复习。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

明月醉窗台

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值