唐宇迪学习笔记17：支持向量机

最新推荐文章于 2023-10-11 15:38:00 发布
最新推荐文章于 2023-10-11 15:38:00 发布
阅读量2.5k 收藏 12
点赞数 3
CC 4.0 BY-SA版权
文章标签： 支持向量机
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_40890544/article/details/123713331
本文深入探讨了支持向量机（SVM）的基本概念，包括寻找最佳决策边界、距离计算、数据标签定义、目标函数推导以及拉格朗日乘子法的应用。通过实例解析了SVM如何求解决策方程，并介绍了软间隔优化以处理噪声数据。此外，还阐述了核函数在解决低维不可分问题中的关键作用。最后，总结了高斯核函数的重要特性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

一、支持向量机要解决的问题

Support Vector Machine

决策边界

二、距离与数据定义

距离的计算

数据标签

三、目标函数推导

优化的目标

目标函数

四、拉格朗日乘子法求解

目标函数

拉格朗日乘子法

SVM求解

五、化简最终目标函数

SVM求解

六、求解决策方程

SVM求解实例

七、软间隔优化

soft-margin

八、核函数的作用

低维不可分问题

举例

九、知识点总结

一、支持向量机要解决的问题

Support Vector Machine

问题1：要解决的问题:什么样的决策边界才是最好的呢?

问题2：特征数据本身如果就很难分，怎么办呢?

问题3：计算复杂度怎么样?能实际应用吗?

目标：基于上述问题对SVM进行推导

决策边界

选出来离雷区最远的(雷区就是边界上的点，要Large Margin)

二、距离与数据定义

距离的计算

数据标签

数据集：(X1,Y1)(X2,Y2)... (Xn,Yn) 

Y为样本的类别: 当X为正例时候 Y = +1 当X为负例时候 Y = -1

决策方程: \large y(x)=w^{T}\Phi (x)+b(其中\large \Phi (x)是对数据做了变换)

               =>  y(x_{i})>0\Leftrightarrow y_{i}=+1    =>   y_{i} \cdot y(x_{i})>0

                     y(x_{i})<0\Leftrightarrow y_{i}=-1

三、目标函数推导

优化的目标

通俗解释：找到一个条线(w和b)，使得离该线最近的点(雷区) 能够最远

将点到直线的距离化简得：\large \frac{y_{i}\cdot (w^{T}\cdot \Phi (x_{i})+b)}{\left \| w \right \|}

(由于y_{i} \cdot y(x_{i})>0所以将绝对值展开原始依旧成立) 

目标函数

放缩变换：对于决策方程(w,b)可以通过放缩使得其结果值|Y|>= 1
                => \large y_{i}\cdot (w^{T}\cdot \Phi (x)+b)\geq 1(之前我们认为恒大于0，现在严格了些)

优化目标：
由于\large y_{i}\cdot (w^{T}\cdot \Phi (x)+b)\geq 1，只需要考虑 (目标函数搞定!）

四、拉格朗日乘子法求解

目标函数

当前目标: ，约束条件：\large y_{i}\cdot (w^{T}\cdot \Phi (x)+b)\geq 1

常规套路：将求解极大值问题转换成极小值问题=>

如何求解：应用拉格朗日乘子法求解。

拉格朗日乘子法

带约束的优化问题：

原式转换：

我们的式子：
(约束条件不要忘：\large y_{i}\cdot (w^{T}\cdot \Phi (x)+b)\geq 1 )

SVM求解

分别对w和b求偏导,分别得到两个条件(由于对偶性质)

对w求偏导：

 对b求偏导：

五、化简最终目标函数

SVM求解

带入原始：

 继续对ɑ求极大值：

                 条件：

极大值转换成求极小值：
          条件：

六、求解决策方程

SVM求解实例

数据：3个点，其中正例 X1(3,3) ，X2(4,3) ，负例X3(1,1)

求解：

 约束条件：

 

 

分别对ɑ1和ɑ2求偏导，偏导等于0可得：

(并不满足约束条件 ，所以解应在边界上)

 最小值在(0.25,0,0.25)处取得。

 将ɑ结果带入求解

平面方程为：\large 0.5x_{1}+0.5x_{2}-2=0

边界点所有\large \alpha值不为0的数据点为支持向量。

非边界点\large \alpha值必然为0 

支持向量：真正发挥作用的数据点，ɑ值不为0的点 。

七、软间隔优化

soft-margin

软间隔：有时候数据中有一些噪音点，如果考虑它们咱们的线就不太好了。

之前方法要求要把两类点完全分得开，这个要求有点过于严格，为了解决该问题，引入松弛因子： 

 

  • 新的目标函数：

当C趋近于很大时：意味着分类严格不能有错误。

当C趋近于很小时：意味着可以有更大的错误容忍。

C是我们需要指定的一个参数!

  •  拉格朗日乘子法：

八、核函数的作用

低维不可分问题

核变换：既然低维的时候不可分，那我给它映射到高维呢?

目标:找到一种变换的方法，也就是 \large \phi(X)

举例

九、知识点总结

高斯核函数：

                

小丑呀~
关注
机器学习-支持向量机-解决兵王问题（附matlab程序）
weixin_44330925的博客
03-11 3749
前提 本文内容源自浙江大学胡浩基的视频，具体可以观看B站视频。 兵王问题 国际象棋的兵王问题：棋盘上黑方只剩一个王，白方剩一个王 一个兵，棋局只有两个结果：“白方将死黑方获胜”或者“和棋”，这个问题属于二分类的问题，这里就是要利用支持向量机解决这个问题。实现在不告诉计算机国际象棋规则的前提下，让计算机可以根据棋子位置判断棋局的结果。 数据集 用到的数据集为UCI Machine Learning Repository，检索关键词为Chess (King-Rook vs. King)，链接直达，点进去之后可看
机器学习案例实战：sklearn求解支持向量机
qq_14815661的博客
07-16 876
原创文章,如需转载请保留出处 本博客为唐宇迪老师python数据分析与机器学习实战课程学习笔记 一.支持向量机 import numpy as np import matplotlib.pyplot as plt from scipy import stats import seaborn as sns; sns.set() 二.支持向量机基本原理 #随机来点数据 from sklearn...
机器学习-支持向量机（SVM）
m0_52053228的博客
12-13 2505
支持向量机算法可以解决小样本情况下的机器学习问题，简化了通常的分类和回归等问题。由于采用核函数方法克服了维数灾难和非线性可分的问题，所以向高维空间映射时没有增加计算的复杂性。换句话说，由于支持向量计算法的最终决策函数只由少数的支持向量所确定，所以计算的复杂性取决于支持向量的数目，而不是样本空间的维数。支持向量机算法利用松弛变量可以允许一些点到分类平面的距离不满足原先要求，从而避免这些点对模型学习的影响。支持向量机算法对大规模训练样本难以实施。
支持向量机SVM：从数学原理到实际应用
TechLead
10-01 1830
本篇文章全面深入地探讨了支持向量机（SVM）的各个方面，从基本概念、数学背景到Python和PyTorch的代码实现。文章还涵盖了SVM在文本分类、图像识别、生物信息学、金融预测等多个实际应用场景中的用法。
【机器学习算法】支持向量机（support Vector Machine，SVM）
qq1021091799qq的博客
07-29 2813
支持向量机SVM概述，核函数特征转换处理非线性问题，多分类SVM问题
支持向量机总结
Yasin的博客
01-04 9187
SVM算法总结 SVM的原理是什么？ 支持向量机(Support Vecor Machine,SVM)是既可以解决线性问题又可以解决非线性问题，既可以用于分类，又可以用于回归的经典算法。它的基本模型是在特征空间中寻找间隔最大化的分离超平面，使距离最近的样本点到该超平面的距离尽可能的远。（间隔最大使它有别于感知机） 当训练样本线性可分时，通过硬间隔最大化，学习一个线性分类器，即Hard-Mar...
唐宇迪-如何单词向量化笔记
最新发布
01-18
在唐宇迪的笔记中，还介绍了词向量模型的应用，例如自然语言处理、信息检索和机器学习等领域。词向量模型可以将文字转换为向量空间，使得计算机能够更好地理解和处理自然语言，从而提高了自然语言处理的准确性和效率...
唐宇迪深度学习笔记
heartxq的博客
08-07 1739
【b站视频—唐宇迪深度学习网址】 https://www.bilibili.com/video/BV1CE411Q7dn?from=search&seid=4714546485764005493 图片在计算机中的表示 通常一张图片在计算机中会被表示为三维数组的形式，每个像素的取值在【0-255】之间，如300*200**3，其中3表示R、G、B三个颜色通道。 K近邻算法 是一种分类算法 算法流程 对于未知类别属性数据集中的点： 计算已知类别数据集中的点与当前点的距离； 按照距离依次排序.
17支持向量机 （SVM）
qq_45425321的博客
03-15 255
唐宇迪《python数据分析与机器学习实战》学习笔记 17 支持向量机（SVM） 1.解决的问题 非常经典的二分类问题，多个决策边界都能做分类，哪个是最好的。 前提：能分得开 其次：要大部队能通过 2.距离计算 计算离决策边界最近的点，1式代表有两个点X’、x’'都在平面上，两个点组成了一个向量。 2式代表两个向量垂直。3式：垂线距离不好算，就先算点到点的距离，再做一个垂直方向的投...
23神经网络 :唐宇迪《python数据分析与机器学习实战》学习笔记
qq_45425321的博客
03-31 1090
唐宇迪《python数据分析与机器学习实战》学习笔记 23神经网络 1.初识神经网络 百度深度学习研究院的图，当数据规模较小时差异较小，但当数据规模较大时深度学习算法的效率明显增加，目前大数据时代利用深度学习明显效果更好。 一些举例：用深度学习可以进行图片描述 在这里插入图片描述 用深度学习进行图片风格融合，从左到右：1为内容、2为风格、3为1的内容进行2的风格转换。 计算机中图像表示为三维数...
机器学习算法课件唐宇迪
03-26
唐宇迪机器学习算法的课件！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！
支持向量机
就和你作对！！！
05-28 579
实验5:支持向量机 实验目的 了解支持向量机的基本原理，利用支持向量机算法解决实际问题。 实验准备 安装python和pycharm，了解python基础编程和pycharm使用。 三、实验内容 从给定的数据文件iris.data中读取鸢尾花数据，提取数据的前两个特征和标签参与模型学习和预测。把数据随机分成训练集（60%）和测试集（40%），利用SVM分类器来判断样本属于山鸢尾（Iris Setosa）、变色鸢尾（Iris Versicolor）还是维吉尼亚鸢尾（Iris Virginica）。选择
人工智能-机器学习-支持向量机
纯洁的小魔鬼
07-14 2274
一.概述 支持向量机即SVM(Support Vector Machine)，主要用于解决模式识别领域中的数据分类问题，属于有监督学习算法的一种。是一类按监督学习方式对数据进行二元分类的广义线性分类器。 如图所示, 红色和蓝色的点是可以被一条直线分开的, 在模式识别领域称为线性可分问题, 然而将两类数据点分开的直线显然不止一条, b图和c图分别给出了A, B两种不同的分类方案, 其中黑色实线为分类线, 术语称为"决策面"。每个决策面对应了一个线性分类器。 虽然在目前的数据上看, 这两个分类器的分类结果是一
机器学习：支持向量机（上）
stephon_100的博客
06-12 1653
机器学习中线性可分支持向量机的模型，优化问题，算法的原理讲解
机器学习——支持向量机（Support Vector Machine）
1
10-11 2510
机器学习学习笔记——7
机器学习（六）支持向量机（SVM）
weixin_52833736的博客
12-18 3108
支持向量机
SVM支持向量机--（上）
weixin_43971026的博客
05-03 1089
什么是svm svm可以说是机器学习中，当之无愧的一个经典模型，他是二分类算法，所谓二分类即把具有多个特性（属性）的数据分为两类，目前主流机器学习算法中，神经网络等其他机器学习模型已经能很好完成二分类、多分类。 引入 首先svm的分类结果可以如下面一个很经典的鸢尾花SVM二特征分类图片所示： 可能咋一看很迷糊，其实拿一个很简单的例子： 简单点说就是能把两簇数据进行很好的区分，保证距离分割线最近的数据元素距离是在所有分割线中最远，或者可以说是，分割线的区域是最胖的，如上图中右边的分割，显然相较于左边，更胜一
机器学习 利用支持向量机解决审计分险分类问题
RuijieRen的博客
12-26 764
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分
SVM支持向量机学习笔记：理解与应用
"SVM学习笔记，主要介绍了支持向量机（SVM）的概念，包括二维和多维情况下的理解，以及SVM的目标函数、拉格朗日乘子法和优化过程。此外，还讨论了松驰变量在处理不可分数据时的作用，并提到了SVM的泛化能力与分类...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值