机器学习——支持向量机——硬间隔与支持向量

已于 2022-04-06 17:11:08 修改
阅读量1.9k 收藏 2
点赞数 3
CC 4.0 BY-SA版权
分类专栏： 机器学习 文章标签： 机器学习 算法 java
于 2022-04-02 18:12:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_58152854/article/details/123909721
本文深入探讨支持向量机（SVM）的基础概念，包括超平面的公式推导、最大间隔的优化以及如何寻找最优超平面。通过数学公式和几何解释，阐述了硬间隔情况下的SVM模型，指出支持向量在模型中的关键作用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

上篇文章我们简单介绍了SVM的几种情况，这篇文章我们来对SVM的基本型进行研究。

支持向量机简述
软间隔与正则化，核函数

文章目录

前言

硬间隔就是我们的数据线性可分的情况，是一种比较理想的模型，但是对于新手理解SVM很友好。本篇主要是由图片和数学公式（手写）展示，若字太丑请谅解。

一、超平面公式引出

在这里插入图片描述
我们都知道超平面的公式是 W Ｘ ＋ ｂ ＝ ０ WＸ＋ｂ＝０ WＸ＋ｂ＝０，可是为什么会是这个公式呢，而且 w w w和 x x x都是向量（上图中加粗了），那这是为什么呢？
在这里插入图片描述
我们从左到右的顺序来,

  • 我们首先画一个坐标轴 x 1 x_1 x1​为横轴, x 2 x_2 <
最低0.47元/天 解锁文章

200万优质内容无限畅学
机器学习-支持向量机 -- 硬间隔SVM(1)
2401_84093203的博客
04-17 1094
分享一套阿里大牛整理的前端资料给大家，点击前端校招面试题精编解析大全即可获取既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！[外链图片转存中…(img-Tp7WSBzt-1713346815517)]由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！如果你觉得这些内容对你有帮助，可以扫码获取！！（备注：前端）分享一套阿里大牛整理的前端资料给大家，
机器学习——支持向量机
m0_73648026的博客
06-11 955
支持向量机（Support Vector Machine，SVM）是一种强大的监督式学习算法，常用于分类和回归分析。它在许多机器学习任务中都表现出色，尤其在具有复杂边界和高维特征空间的数据集上效果显著。经常用在二分类等问题当中。SVM 还可以用于回归分析，即支持向量回归（Support Vector Regression，SVR）。与分类不同，SVR 试图找到一个超平面，使得样本点与该超平面的距离尽可能小，同时还要保持尽可能多的样本点在超平面的间隔之内。
支持向量机笔记-硬间隔支持向量机
饺子醋的博客
11-13 1476
概述 符号定义 硬间隔支持向量机 函数距离 几何距离 几何间隔和函数间隔 间隔最大化对应的最优化问题 求解间隔最大化对应的最优化问题 软间隔支持向量机 核函数 概述 支持向量机的基础是定义在特征空间上的间隔最大的线性分类器。 当训练数据线性可分时，通过硬间隔最大化学习一个线性分类器；当训练数据近似线性可分时，通过软间隔最大化学习一个线性分类器；当训练数据线性不可分时，通过使用核
机器学习算法——支持向量机SVM2(硬间隔与支持向量)
Vicky_xiduoduo的博客
04-19 710
上一节中，说了超平面(W,b)方程为 样本点到超平面的距离怎么求？假设样本点x0(x0为向量)到超平面S距离d的计算过程为： 设点x0在平面S上的投影为x1,则wTx1+b=0 由于向量与平面S的法向量w平行，所以 （公式 2.1） 在这里为了方便理解，我们先讲解一下范数的概念。 范数，是具有“距离”概念的函数。在数学上，范数包括向量范数和矩阵范数，向量范数表征向量空间中向量的大小，矩阵范数表征矩阵引起变化的大小。我们这里只涉及向量范数。一共有四种范数，包括： L-P范数： L-0范数
支持向量机之硬间隔（一步步推导，通俗易懂）
weixin_43786241的博客
11-09 5427
        ML经典算法：支持向量机（1）中对支持向量机的理论知识进行了总结，这里再进行详细的数学梳理！         支持向量机随着任务的复杂度，主要有三部分知识：硬间隔、软间隔和核函数，这里先讲硬间隔！ 硬间隔（hard-margin）         硬间隔主要应用在可以完美线性分类的任务中，如下图所示，“x”和“o”表示两种类别，共mmm个样本：    
机器学习教程 之 支持向量机：模型篇1—支持向量与间隔
冯良骏 的 博客
12-21 2932
[支持向量机是机器学习领域里最强的几种分类器之一，被广泛的运用于各种分类回归问题，如果不考虑集成学习算法以及近几年出现的深度学习算法，支持向量机的性能可以说是在学习领域具有统治地位，在一些中小型的数据集上它的性能甚至能够超过一些深度学习网络。其基本原理相当简单，但是模型的求解和优化却十分复杂，很难描述清楚，这里我会一步一步，尽我所能分章节的将它总结完善 · 支持向量机：模型篇1–支持向量与间
机器学习——支持向量机思维导图
11-26
"机器学习——支持向量机思维导图" 支持向量机（Support Vector Machine，SVM）是一种监督学习算法，主要用于分类和回归问题。其基本思想是寻找一个超平面，使得训练数据集的样本点中与分离超平面距离最近的样本点...
机器学习——支持向量机程序
02-26
支持向量机（Support Vector Machine，SVM）是机器学习领域一种重要的算法，它主要用于分类和回归分析。SVM的核心思想是找到一个最优超平面，将不同类别的数据尽可能地分开，同时保持最大间隔，以增强模型的泛化能力...
机器学习——支持向量机（SVM）
weixin_74731967的博客
06-11 7899
支持向量机（Support Vector Machine，SVM）是一种常用的机器学习算法，SVM可以用于线性和非线性分类问题，回归以及异常值检测其基本原理是通过在特征空间中找到一个超平面，将不同类别的样本分开，并且使得离超平面最近的样本点到超平面的距离最大化。这个超平面称为最大间隔超平面，它可以很好地进行分类预测。具体而言，SVM通过将样本映射到高维特征空间，使得数据在该空间中线性可分。
机器学习第十课：支持向量机SVM（一）线性可分（硬间隔）SVM
魔峥漫谈
09-26 4786
SVM---硬间隔最大化数学原理。SVM三部曲之二
【《机器学习》第6章支持向量机】间隔与支持向量+对偶问题+核函数+软间隔与硬间隔
年少的勇气已经用完，剩下的就是三思而后行
09-24 1181
线性分类器回顾 在一个线性分类中，我们可能会拟合出多条直线来完全区分样本类别，但是这些直线中有没有好坏呢？ 答案是肯定的。 间隔与支持向量 支持向量：距离超平面最近的样本点（可能是两个或者多个）。 间隔：两个异类 支持向量到超平面的距离之和 。 支持向量机就是寻找具有最大间隔 的超平面。 间隔方程 见课件例题 优化问题的类型 无约束优化问题 求解方法：求取函数 f(x)f(x)f(x) 的导数，然后令其为零，可以求得候选最优值，再在这些候选值中验证；如果是凸函数，可以保证是最优解。 有等式约束优化
支持向量机（一）——深入理解函数间隔与几何间隔
热门推荐
我爱学习的博客
07-09 1万+
1.支持向量机和logistic函数的有什么区别 实践发现，在所给的例子中，两种方法线性划分两类事物时得到的线性分类器的效果差不多。那具体的差别在哪呢？ ···SVM更关心的是靠近中间分割线的点，让他们尽可能地原理中间线，而不是在所有点上达到最优，因为那样的话，要使得一部分点靠近中间线来换取另外一部分点更加原理中间线。因此支持向量机和和逻辑斯蒂回归的不同点，一个是考虑局部（不关心已经确定远离的...
支持向量机之最大间隔
weixin_42397505的博客
01-14 482
支持向量机（SVM）——间隔与支持向量
weixin_40859436的博客
06-07 2225
西瓜书笔记分类学习最基本的思想是基于训练集D在样本空间中找到一个划分超平面，将不同类别的样本分开，但能将训练样本划分的超平面可能有很多，我们需要指导对训练样本局部扰动“容忍”性最好的那个，即通过这个划分超平面所产生的分类结果是最鲁棒的，对未见示例的泛化能力最强。在样本空间中，划分超平面描述为：其中：为法向量，决定了超平面的方向；b为位移项，决定了超平面与原点之间的距离。显然，划分超平面可被法向量w...
支持向量积-1
Lin
04-16 1543
《统计学习方法——支持向量机》 支持向量积（support vector machine）是机器学习中的一种分类器，其基本模型是定义在特征空间上的最大间隔线性分类器，跟感知机的区别也在于最大间隔这个点，感知机的解是有多个的，而svm由于限定了最大间隔，因此其解是唯一的。 线性可分支持向量机与硬间隔最大化 假设对于一个二分类问题，其数据是线性可分的，线性可分支持向量机的学习目标就是找出一个分离超平
支持向量机（二）线性可分支持向量机与硬间隔最大化
aozhun5901的博客
11-27 365
本文原创如需转载请注明出处 阅读目录一.什么是函数间隔？ 二.什么是几何间隔？ 三.函数间隔与几何间隔的关系？ 四.硬间隔最大化 五.学习的对偶算法 一.函数间隔 在图A，B，C三点，A离超平面是最远的，所以A被分类错误的可能性是最小的，相反C离超平面的距离是最近的，所以C被分类错误的可能性是最大的，这很好理解。那么我们就可以用“一个点距离超平面的远近”来表示分类...
传统机器学习(七)支持向量机(1)超平面、SVM硬间隔、软间隔模型和损失函数
qq_44665283的博客
04-26 3883
支持向量机中点到超平面距离公式推导、SVM硬间隔、软间隔模型和损失函数推导及意义详解
支持向量机（机器学习笔记）
ttxs2016的博客
05-01 950
1、硬间隔 SVM-统计学习基础 一开始讲解了最小间距超平面：所有样本到平面的距离最小。而距离度量有了函数间隔和几何间隔，函数间隔与法向量www和bbb有关，www变为2w2w2w则函数间距变大了，于是提出了几何距离，就是对www处理，除以∣∣w∣∣||w||∣∣w∣∣，除以向量长度，从而让几何距离不受影响。 但是支持向量机提出了最大间隔分离超平面，这似乎与上面的分析相反，其实这个最大间隔是个什么...
硬间隔支持向量机推导【纯公式……】
GitChat
05-31 440
支持向量机很早很早就被提出来了，而且在最近几年里一直在被更新和改进，但是追本溯源，我们还是得回到那个古老的年代，去看看支持向量机原本的模样。原本是用cTex写的啦，后来复制到GitChat发现压根莫得办法生成，于是就放弃发布了，某天闲的一批我就切到Markdown了，现在发出来哦。...
支持向量机硬间隔和软间隔
最新发布
01-23
### 支持向量机中的硬间隔与软间隔 在支持向量机(SVM)中，硬间隔和软间隔是两种不同的分类策略。 对于线性可分的数据集，SVM可以构建一个完全分离两个类别的超平面而不允许任何数据点位于错误的一侧。这种情况下采用的是硬间隔方法[^2]。在这种设定下，模型力求最大化决策边界到最近样本的距离，并且不允许有任何违反这一边界的训练实例存在。然而，在实际应用中并非所有的数据都是完美线性可分的；因此引入了软间隔概念来处理含有噪声或重叠区域的情况。 当面对不可精确划分的数据时，通过引入松弛变量(slack variables)，使得某些特定条件下少量误分类成为可能，从而实现更灵活的建模方式——即所谓的软间隔支持向量机。这样做可以在一定程度上容忍一些违背最大边缘原则的现象发生，进而提高泛化能力并减少过拟合风险[^1]。 ```python from sklearn import svm import numpy as np # 创建模拟数据 X = np.array([[3, 4], [1, 4], [2, 3], [6, -1], [7, -1], [5, -3]]) y = [1, 1, 1, -1, -1, -1] # 使用不同参数创建SVM分类器 hard_margin_clf = svm.SVC(kernel='linear', C=1e10) # 大C值近似于硬间隔 soft_margin_clf = svm.SVC(kernel='linear', C=1.0) # 较低C值表示较宽松的软间隔 # 训练模型 hard_margin_clf.fit(X, y) soft_margin_clf.fit(X, y) print("Hard Margin Support Vectors:", hard_margin_clf.support_vectors_) print("Soft Margin Support Vectors:", soft_margin_clf.support_vectors_) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值