机器学习之支持向量机SVM及代码示例

最新推荐文章于 2025-06-02 18:39:57 发布
原创 最新推荐文章于 2025-06-02 18:39:57 发布 · 5.2w 阅读 · 227 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#svm #机器学习

本文深入探讨了支持向量机（SVM）的原理，从线性可分SVM、超平面与间隔的概念，到最大化间隔的目标，再到从硬间隔到软间隔的转变。此外，还讲解了从线性SVM到非线性SVM的核方法，以及SVM在多分类问题中的应用。文章最后对比了SVM与逻辑回归的区别，并提供了代码示例。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、线性可分SVM

SVM算法最初是用来处理二分类问题的，是一种有监督学习的分类算法。

对于线性可分的二分类问题，我们可以找到无穷多个超平面，将两类样本进行区分。(超平面：一维中是一个点；二维中是一条线；三维中是一个面……)

这里写图片描述

在上面的多个超平面中，它们都可以成功将样本集划分两边，但哪一个超平面更好？

一般来说，当样本点离超平面越近，样本的标签为某类型的概率应该为0.5左右，确信度比较低，而样本点离超平面越远，样本的标签为某类型的概率越大，确信度比较高。

而线性可分SVM所寻找的最优超平面就是要尽可能的远离所有类别的数据点，使得间隔（margin）最大，利用间隔最大化来求得最优超平面。间隔的定义如下图所示：

这里写图片描述

一般来说，间隔（Margin）中间是无点区域。为了偏袒于某一类样本，超平面到两类样本点集合的最小距离都是相等的，即间隔等于超平面到两类样本集的最小距离*2。对于间隔越大的超平面，分类犯错的机率就越小，分类的确信度就越高。

二、超平面和间隔

接下来，需要做的就是将间隔(Margin)进行最大化，来寻找最优超平面。在这之前，需要对超平面进行定义，以便于计算点到超平面距离。

可将超平面定义为 这里写图片描述，向量 这里写图片描述 为超平面的法向量，标量 b 为截距。

这里写图片描述

这里写图片描述

向量 x 为样本的特征向量。而向量 x 点乘 向量 这里写图片描述 可理解为向量 x 在 向量 w 上未进行归一化的投影。

这里写图片描述

通过这样定义超平面后，由图可以发现：所有在超平面右上方的样本点都有 这里写图片描述 ，所有在超平面左下方的样本点都有 这里写图片描述 。

当然，所有在超平面上的点都有 这里写图片描述 。

进一步，我们可以通过等比例缩放 法向量 这里写图片描述 和 截距 b，使得：

这里写图片描述

其中，这里写图片描述 为第 i 个样本的特征向量，并将正样本的标签令作 1，负样本的标签令作 -1；这样这两个式子整合为一个式子：

这里写图片描述 。

具体效果如图所示：

这里写图片描述

而“支持向量”就是所有落在间隔两边的超平面H1、H2上的点，超平面H1、H2上的任意一点（支持向量）到分界超平面的距离为 这里写图片描述 。因此，隔间的宽度应该为 这里写图片描述 。

具体的公式推导如下：

这里写图片描述

三、最大化间隔

在上面，我们找到了间隔(margin)的表达式为 这里写图片描述，也找到了向量w的约束条件为

最低0.47元/天 解锁文章

200万优质内容无限畅学
机器学习——支持向量机
m0_54703897的博客
12-17 4541
SVM
第八天：机器学习：支持向量机SVM
weixin_54856108的博客
08-08 2156
支持向量机是一种强大的分类算法，通过最大化间隔来提高分类性能。SVM 的理论基础包括超平面、间隔最大化和软间隔等概念。通过实际的 Python 代码实现，我们可以可视化 SVM 的决策边界，帮助理解其工作原理。希望本文对你理解 SVM 有所帮助。如果有任何问题或需要进一步的讨论，请随时联系我！
机器学习支持向量机SVM的原理、算法、应用解释及完整代码
qq_55433305的博客
10-02 2965
建立在统计学习理论VC维理论和结构风险最小化原理基础上的机器学习方法。用于解决数据挖掘或模式 识别领域中数据分类问题它在解决小样本、非线性和高维模式识别问题中表现出许多特有的优势，并在很大程度上克服了“维数灾难”和“过学习”等问题。此外，它具有坚实的理论基础，简单明了的数学模型，因此，在模式识别、回归分析、函数估计、时间序列预测等领域都得到了长足的发展，并被广泛应用于文本识别、手写字体识别、人脸图像识别、基因分类及时间序列预测
支持向量机SVM
最新发布
2302_82237047的博客
06-02 1401
在软间隔中，支持向量包括三类样本：1. 边界上的样本：满足且（对应2. 间隔内的正确分类样本：满足且（对应3. 错分样本：满足且（对应关键性质：软间隔超平面的位置由所有支持向量共同决定，而非仅由边界上的样本决定。错分样本和间隔内样本通过调整的值影响超平面，使模型在复杂数据中仍保持鲁棒性。核函数是一个函数 K(x , z) ，它接受两个低维空间中的输入向量 x 和 z ，输出它们在高维特征空间中的内积，即 K(x , z) = ⟨ ϕ(x) , ϕ(z) ⟩；其中 ϕ(
支持向量机python代码_用TensorFlow实现多类支持向量机的示例代码
weixin_39956558的博客
11-23 295
这篇文章主要介绍了用TensorFlow实现多类支持向量机的示例代码，现在分享给大家，也给大家做个参考。一起过来看看吧本文将详细展示一个多类支持向量机分类器训练iris数据集来分类三种花。SVM算法最初是为二值分类问题设计的，但是也可以通过一些策略使得其能进行多类分类。主要的两种策略是：一对多（one versus all）方法；一对一（one versus one）方法。一对一方法是在任意两类样...
机器学习之支持向量机
qq_43751506的博客
02-12 1271
一、支持向量机的概念 支持向量机(Support Vector Machine)是一类按监督学习方式对数据进行二元分类的广义线性分类器（generalized linear classifier），其决策边界是对学习样本求解的最大边距超平面(maximum-margin hyperplane)。 SVM有三宝：间隔、对偶、核技巧 SVM有三种：hard-margin SVM、soft-margin、kernel SVM 给定训练样本集D={(x1,y1),(x2,y2),...,(xm,ym),},yi∈{
支持向量机代码实现
03-14
里面有二元支持向量机算法实现过程，基本是用R语言写成
机器学习---支持向量机SVM
shijing0405的博客
06-04 502
本篇主要从SVM的简介、原理、核心问题、案例以及同类算法的比较进行阐述，希望对学习者有所帮助，同时如果有什么不恰当的表述，以及需要改进的地方，欢迎大家一起讨论和学习。 1、SVM简介 SVM是一种监督学习算法，主要用于分类、回归、异常值检测。目前应用于文本分类、手写文字识别、图像分类、生物序列分析。 支持向量机是一种通过某种非线性映射，把低维的非线性可分转化为高维的线性可分，...
机器学习SVM(支持向量机)实验报告(带源代码)
10-27
### 机器学习SVM(支持向量机)实验报告知识点解析 #### 一、实验目的与要求 **实验目的：** - 验证支持向量机(Support Vector Machine, SVM)机器学习算法的学习情况。 **要求：** - 学员需要自主完成整个实验过程...
Python中的支持向量机SVM的使用（附实例代码）
09-19
`scikit-learn`库提供了丰富的机器学习算法，包括支持向量机SVM。 ```python from sklearn import svm ``` ##### 2. 数据准备 本节我们将使用著名的Iris兰花数据集作为示例，该数据集包含了150个样本，每个样本...
机器学习 MATLAB实现GWO-SVM灰狼算法（GWO）优化支持向量机多特征分类预测的详细项目实例（含模型描述及示例代码）
05-01
适合人群：对机器学习尤其是支持向量机和优化算法有一定了解的研究人员和技术开发者。; 使用场景及目标：①优化SVM分类效果，提高模型的泛化能力；②降低计算复杂度，适应高维数据；③应用于实际问题如医学诊断、...
支持向量机实例
12-05
对应于机器学习教程进行实战，通过代码的实现，理解机器学习中支持向量机的原理。
支持向量机实战代码（全）
10-12
机器学习实战支持向量机代码，分为简易SMO，完整SMO，引入核函数SMO，以及实战利用其做手写字体的识别。 完整的代码需要数学理论作为依托，请关注我的学习文档，有完整的理论证明，供大家参考。
支持向量机代码
05-09
#include <math.h> #include <stdio.h> #include <stdlib.h> #include <ctype.h> #include <float.h> #include <string.h> #include <stdarg.h> #include <limits.h> #include <locale.h> #include "svm.h" int libsvm_version = LIBSVM_VERSION; typedef float Qfloat; typedef signed char schar; #ifndef min template <class T> static inline T min(T x,T y) { return (x<y)?x:y; } #endif #ifndef max template <class T> static inline T max(T x,T y) { return (x>y)?x:y; } #endif template <class T> static inline void swap(T& x, T& y) { T t=x; x=y; y=t; } template <class S, class T> static inline void clone(T*& dst, S* src, int n) { dst = new T[n]; memcpy((void *)dst,(void *)src,sizeof(T)*n); } static inline double powi(double base, int times) { double tmp = base, ret = 1.0; for(int t=times; t>0; t/=2) { if(t%2==1) ret*=tmp; tmp = tmp * tmp; } return ret; } #define INF HUGE_VAL #define TAU 1e-12 #define Malloc(type,n) (type *)malloc((n)*sizeof(type)) static void print_string_stdout(const char *s) { fputs(s,stdout); fflush(stdout); } static void (*svm_print_string) (const char *) = &print_string_stdout; #if 1 static void info(const char *fmt,...) { char buf[BUFSIZ]; va_list ap; va_start(ap,fmt); vsprintf(buf,fmt,ap); va_end(ap); (*svm_print_string)(buf); } #else static void info(const char *fmt,...) {} #endif // // Kernel Cache // // l is the number of total data items // size is the cache size limit in bytes // class Cache { public: Cache(int l,long int size); ~Cache(); // request data [0,len) // return some position p where [p,len) need to be filled // (p >= len if nothing needs to be filled) int get_data(const int index, Qfloat **data, int len); void swap_index(int i, int j); private: int l; long int size; struct head_t { head_t *prev, *next; // a circular list Qfloat *data; int len; // data[0,len) is cached in this entry }; head_t *head; head_t lru_head; void lru_delete(head_t *h); void lru_insert(head_t *h); }; Cache::Cache(int l_,long int size_):l(l_),size(size_) { head = (head_t *)calloc(l,sizeof(head_t)); // initialized to 0 size /= sizeof(Qfloat); size -= l * sizeof(head_t) / sizeof(Qfloat); size = max(size, 2 * (long int) l); // cache must be large enough for two columns lru_head.next = lru_head.prev = &lru_head; } Cache::~Cache() { for(head_t *h = lru_head.next; h != &lru_head; h=h->next) free(h->data); free(head); } void Cache::lru_delete(head_t *h) { // delete from current location h->prev->next = h->next; h->next->prev = h->prev; } void Cache::lru_insert(head_t *h) { // insert to last position h->next = &lru_head; h->prev = lru_head.prev; h->prev->next = h; h->next->prev = h; } int Cache::get_data(const int index, Qfloat **data, int len) { head_t *h = &head[index]; if(h->len) lru_delete(h); int more = len - h->len; if(more > 0) { // free old space while(size < more) { head_t *old = lru_head.next; lru_delete(old); free(old->data); size += old->len; old->data = 0; old->len = 0; } // allocate new space h->data = (Qfloat *)realloc(h->data,sizeof(Qfloat)*len); size -= more; swap(h->len,len); }
支持向量机
10-05
支持向量机(Support Vector Machine, SVM)是由Cortes(科尔特斯)和Vapnik(瓦普尼克)于1995年首先提出。 SVM在解决小样本、非线性等分类问题中表现出许多特有的优势，并能够推广到函数拟合等有关数据预测的应用中。
svm代码实例
weixin_40589578的博客
07-25 718
from sklearn import svm import pandas as pd import time df = pd.read_csv('../DATA/train.csv') labels = df.as_matrix(columns=['label'])#find lable to transform to matrix dataset = df.drop('label', ax...
支持向量机SVM——简单实例应用
fjstjsjg的博客
06-11 3014
例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考支持向量机（Support Vector Machine，SVM）是一种常见的监督学习算法，用于分类和回归任务。SVM的目标是构建一个能够将不同类别的数据点尽可能正确地分隔开的决策边界。核函数是支持向量机（SVM）中的一种技术，用于将数据从原始特征空间映射到另一个高维特征空间。
支持向量机（SVM）案例分析
m0_37228052的博客
09-18 3761
支持向量机（support vector machines, SVM）是一种二分类模型，所谓二分类模型是指比如有很多特征（自变量X）对另外一个标签项（因变量Y）的分类作用关系，比如当前有很多特征，包括身高、年龄、学历、收入、教育年限等共5项，因变量为‘是否吸烟’，‘是否吸烟’仅包括两项，吸烟和不吸烟。
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值