SVM-非线性

监督学习 | SVM 之非线性支持向量机原理 文章目录1. 非线性支持向量机1.1 核技巧1.2 核函数1.2.1 核函数选择1.2.2 RBF 函数参考资料 相关文章: 机器学习 | 目录 机器学习 | 网络搜索及可视化 监督学习 | SVM 之线性支持向量机原理 1. 非线性支持向量机 对解线性分类问题,线性分类支持向量机是一种非常有效的方法。但是,有时分类问题是非线性的,这时可以使用非线性支持向量机(non-linear support... 阅读详情

SVM非线性内核:

  • 多项式  poly
  • 径向基函数  rbf
  • Sigmod
  • 高级定制核

一、对比linear和rbf内核的性能区别

#比较几种核及参数,挑选出性能最好的svm模型
#载入数据
from sklearn import datasets
digits = datasets.load_digits()
X,y = digits.data, digits.target
#数据区分测试集和训练集,并将数据标准化
from sklearn.cross_validation import train_test_split, cross_val_score
from sklearn.preprocessing import MinMaxScaler
# We keep 30% random examples for test
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=101)
# We scale the data in the range [-1,1]
scaling = MinMaxScaler(feature_range=(-1, 1)).fit(X_train)
X_train = scaling.transform(X_train)
X_test  = scaling.transform(X_test)

from sklearn.svm import SVC
from sklearn.grid_search import GridSearchCV
import numpy as np
learning_algo = SVC(class_weight='balanced', random_state=101)
search_space = [{'kernel': ['linear'], 'C': np.logspace(-3, 3, 7)},
                {'kernel': ['rbf'], 'degree':[2,3,4], 'C':np.logspace(-3, 3, 7), 'gamma': np.logspace(-3, 2, 6)}]
gridsearch = GridSearchCV(learning_algo, param_grid=search_space, scoring='accuracy', refit=True, cv=10, n_jobs=-1)
gridsearch.fit(X_train,y_train)
cv_performance = gridsearch.best_score_
test_performance = gridsearch.score(X_test, y_test)
print ('Cross-validation accuracy score: %0.3f, test accuracy score: %0.3f' % (cv_performance,test_performance))
print ('Best parametes: %s' % gridsearch.best_params_)

结果:rbf胜出

二、用SVR来执行回归

注意:epsilon参数主要衡量可接受的误差数量,高epsilon暗示更少的支持点,小epsilon需要大量的支持点。

其实epsilon在过拟合的欠拟合中间做权衡。经验上epsilon的搜索空间在【0,0.01,0.1,0.5,1,2,4】表现不错。

from sklearn.cross_validation import train_test_split, cross_val_score
from sklearn.preprocessing import MinMaxScaler
from sklearn.grid_search import GridSearchCV

from sklearn import datasets
boston = datasets.load_boston()
X,y = boston.data, boston.target
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=101)
scaling = MinMaxScaler(feature_range=(-1, 1)).fit(X_train)
X_train = scaling.transform(X_train)
X_test  = scaling.transform(X_test)

from sklearn.svm import SVR
learning_algo = SVR()
search_space = [{'kernel': ['linear'], 'C': np.logspace(-3, 2, 6), 'epsilon': [0, 0.01, 0.1, 0.5, 1, 2, 4]},
                {'kernel': ['rbf'], 'degree':[2,3], 'C':np.logspace(-3, 3, 7), 'gamma': np.logspace(-3, 2, 6), 'epsilon': [0, 0.01, 0.1, 0.5, 1, 2, 4]}]
gridsearch = GridSearchCV(learning_algo, param_grid=search_space, refit=True, scoring= 'r2', cv=10, n_jobs=-1)
gridsearch.fit(X_train,y_train)
cv_performance = gridsearch.best_score_
test_performance = gridsearch.score(X_test, y_test)
print ('Cross-validation R2 score: %0.3f, test R2 score: %0.3f' % (cv_performance,test_performance))
print ('Best parametes: %s' % gridsearch.best_params_)

结果如下:

epsilon取值为2,误差度量使用R平方计算。

三、用SVM创建随机解决方案

SVC和LinearSVC对比

#linearsvc和svc对比
from sklearn.datasets import make_classification
import numpy as np
X,y = make_classification(n_samples=10**4, n_features=15, n_informative=10, random_state=101)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=101)

from sklearn.svm import SVC, LinearSVC
slow_SVM = SVC(kernel="linear", random_state=101)
fast_SVM = LinearSVC(random_state=101, loss='hinge')

slow_SVM.fit(X_train, y_train)
fast_SVM.fit(X_train, y_train)
print ('SVC test accuracy score: %0.3f' % slow_SVM.score(X_test, y_test))
print ('LinearSVC test accuracy score: %0.3f' % fast_SVM.score(X_test, y_test))

结果显示:

算法可以得到相同的结果。

分析两种算法的速度,如下:

import timeit
X,y = make_classification(n_samples=10**4, n_features=15, n_informative=10, random_state=101)
print ('avg secs for SVC, best of 3: %0.1f' % np.mean(timeit.timeit("slow_SVM.fit(X, y)", "from __main__ import slow_SVM, X, y", number=1)))
print ('avg secs for LinearSVC, best of 3: %0.1f' % np.mean(timeit.timeit("fast_SVM.fit(X, y)", "from __main__ import fast_SVM, X, y", number=1)))

LinearSVC速度要快的多,性能比例=9.8/0.2=49倍

如果样本增加继续指数增加可看下效果

import timeit
X,y = make_classification(n_samples=20000, n_features=15, n_informative=10, random_state=101)
print ('avg secs for SVC, best of 3: %0.1f' % np.mean(timeit.timeit("slow_SVM.fit(X, y)", "from __main__ import slow_SVM, X, y", number=1)))
print ('avg secs for LinearSVC, best of 3: %0.1f' % np.mean(timeit.timeit("fast_SVM.fit(X, y)", "from __main__ import fast_SVM, X, y", number=1)))

差距持续扩大

四、对比SGD与SVM算法

1、使用SVM中的LinearSVC算法进行分类

from sklearn.datasets import make_classification
from sklearn.cross_validation import train_test_split, cross_val_score
from sklearn.svm import LinearSVC
import timeit

from sklearn.linear_model import SGDClassifier
X,y = make_classification(n_samples=10**6, n_features=15, n_informative=10, random_state=101)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=101)
fast_SVM = LinearSVC(random_state=101, penalty='l2', loss='l1', dual=True)
fast_SVM.fit(X_train, y_train)
print ('LinearSVC test accuracy score: %0.3f' % fast_SVM.score(X_test, y_test))
print ('avg secs for LinearSVC, best of 3: %0.1f' % np.mean(timeit.timeit("fast_SVM.fit(X_train, y_train)", "from __main__ import fast_SVM, X_train, y_train", number=1)))

结果如下

测试集上的准确度为0.811,使用98秒

2、下面尝试使用SGDclassifier算法

stochastic_SVM = SGDClassifier(loss='hinge',max_iter=5, shuffle=True, random_state=101)
stochastic_SVM.fit(X_train, y_train)
print ('SGDClassifier test accuracy score: %0.3f' % stochastic_SVM.score(X_test, y_test))
print ('avg secs for SGDClassifier, best of 3: %0.1f' % np.mean(timeit.timeit("stochastic_SVM.fit(X_train, y_train)", "from __main__ import stochastic_SVM, X_train, y_train", number=1)))

SGDClassifier test accuracy score: 0.799
avg secs for SGDClassifier, best of 3: 0.7

SGDClassifier和LinearSVC相比,精度差异不大,但训练速度差别在百倍以上。

综上,在分类算法中,从速度上来讲:

SGDClassifier> LinearSVC>SVC

非线性支持向量机(SVM)与核函数(kernel),python实现 将线性支持向量机向非线性支持向量机推广需要用到核函数技巧(kernel trick),一般分为两步: 1、使用一个变换将原空间的数据映射到新空间; 2、在新空间用线性分类器分类学习从训练数据中学习分类模型。 核函数运用到支持向量机就是通过一个非线性变换将输入空间对应到一个特征空间,使得在输入空间Rn\textbf R^nRn中的超曲面模型对应于特征空间中的超平面模型。这样,分类问题就可以通过在特征... 阅读详情

相关推荐

机器学习之支持向量机SVM Support Vector Machine (二) 非线性SVM模型与核函数

求解线性分类问题,线性SVM是一种非常有效的方法,但是有时分类问题是非线性的,这时可以使用非线性SVM。非线性问题往往不好求解,希望能用解线性分类问题的方法解决这个问题,可以采用非线性变换,将非线性问题变换为线性问题,通过解决变换后的线性问题的方法求解原来的非线性问题。 在线性回归中,可以将多项式回归转化为线性回归。比如一个只有两个特征的p次多项式回归模型: h_θ (x_1,x_2 )=θ_

ivy_reny的专栏 1244

【阿旭机器学习实战】【21】通过SVM分类与回归实战案例,对比支持向量机(SVM)3种SVM不同核函数

【阿旭机器学习实战】【21】通过SVM分类与回归实战案例,对比支持向量机(SVM)3种SVM不同核函数

阿旭的博客 1894

【机器学习|学习笔记】详解支持向量机(Support Vector Machine,SVM)之带核的SVM为什么能分类非线性问题?以及RBF核一定是线性可分的吗?

【机器学习|学习笔记】详解支持向量机(Support Vector Machine,SVM)之带核的SVM为什么能分类非线性问题?以及RBF核一定是线性可分的吗?

2401_89898861的博客 1286

RBF核函数和Linera核函数关系

1.Linear核 主要用于线性可分的情形。参数少,速度快,对于一般数据,分类效果已经很理想了。 2. RBF核 主要用于线性不可分的情形。参数多,分类结果非常依赖于参数。通过训练数据的交叉验证来寻找合适的参数,验证过程比较耗时。 个人经验: 使用libsvm,默认参数,RBF核比Linear核效果稍差。通过进行大量参数的尝试,一般能找到比linear核更好的效果。至于到底该采用哪种核,要根据具体...

weixin_40835491的博客 7640

从USB 2.0到USB 3.x:Synopsys SVT USB VIP配置避坑与接口选择指南

本文详细解析了从USB 2.0到USB 3.x的Synopsys SVT USB VIP配置要点,涵盖协议版本选择、物理接口匹配及UVM层次化架构实现。重点介绍了layering sequence的配置技巧和常见问题解决方案,帮助验证工程师高效避坑并优化验证流程。

weixin_42653691的博客 240

大模型的安全发展与安全治理

2022 年底,OpenAI 推出的 ChatGPT 在文本生成领域实现了重大突破,引领了大模型技术的发展方向,推动了各式各样的基座大模型及行业大模型的发展,并逐步向多模态和具身化方向迅速演进。显然,大模型展现出的强大能力为人工智能通用化揭开了序幕。然而,大模型技术的安全性也面临着生成内容的安全性、伦理道德等重大挑战。只有积极确保大模型的安全性,才能更有效地推动其持续发展,进而更好地应对大模型技术变革所带来的机遇与挑战。

qq_41432686的博客 2585

线性核与RBF核的区别

在类之间建立超平面决策边界的情况下,线性,多项式和RBF或高斯核完全不同。 内核函数用于将原始数据集(线性/非线性)映射到更高维的空间,以使其成为线性数据集。 通常,线性和多项式内核比RBF或高斯内核耗时少,并且提供的精度也较低。 k个交叉验证用于将训练集划分为k个不同的子集。 然后,在整个训练阶段,将每个子集用于训练,将其他k-1用于验证。 这样做是为了更好地训练分类任务。 线性核就是您所期望的线性模型。 我相信多项式核是相似的,但是边界是某些已定义但任意顺序的。 RBF在数据点周围使用法线曲线,并对它们

None_Pan的博客 3544

Linux 桌面虚拟化技术 KVM

Linux 桌面虚拟化技术 KVM

高飞的博客 36万+

[机器学习与scikit-learn-41]:算法-分类-支持向量机-不同核函数的比较与最佳核函数以及代码演示

作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_优快云博客 本文网址: 目录 前言: 第1步骤:导入库 第2步骤:四种不同的数据集 第3步骤:四种不同的核函数 3.1 模型训练与可视化 3.2 效果图比较 前言: scikit-learn支持多种不同的核函数,实现对线性不可分数据的分类,本文展现不同核函数的效果。 第1步骤:导入库 import numpy as np import matplotlib.pyplot as plt from ma

文火冰糖(王文兵)的博客 1703

Qt实战:用QTreeView+QStandardItemModel实现多级多列文件浏览器(附完整代码)

本文深入探讨了使用Qt的QTreeView与QStandardItemModel构建多级多列文件浏览器的完整实践。通过分析模型/视图框架的优势,详细演示了从基础框架搭建、模拟数据填充,到对接真实文件系统实现懒加载的全过程。文章还涵盖了自定义委托、多列排序、右键菜单等高级定制技巧,并提供了性能优化建议和完整的代码示例,帮助开发者打造功能强大且高效的工业级文件管理界面。

weixin_29021291的博客 425

看完这篇爽文我终于学会了示波器(一)

示波器基础篇的介绍,希望对你有用,下次分享一下如何测试。

qq_45508321的博客 974

[机器学习与scikit-learn-37]:算法-分类-支持向量机-核函数与线性不可分-原理

作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_优快云博客 本文网址: 目录 前言: 第1章 线性不可分转换成线性可分的手段:升维 1.1 何为数据维度? 1.2 何为升维 1.3升维的功效 第2章scikit-learn支持向量机提供的升维核函数 2.1scikit-learn SVM kernel函数 2.2Linear线性核函数 2.3Poly多项式核函数 2.4RBF:高斯核函数 2.5sigmoid核函数 2.6复合核函数...

文火冰糖(王文兵)的博客 1049

突破限制:巧用Azure OpenAI,畅玩Gemini模型

通过 Azure OpenAI 服务这一巧妙的途径,间接调用 Gemini 模型,打破网络限制的壁垒。本文将详细介绍这一方法,无论你是人工智能领域的新手,还是经验丰富的开发者,都能从中获取实用的技巧,轻松开启 Gemini 模型的探索之旅

远程部署调试 运行安装 项目调试 二次开发 项目技术新 持续迭代 部分源码免费分享 182

【数模百科】支持向量机SVM如何处理非线性数据——非线性SVM(python代码实现)

非线性支持向量机,是从原始的线性支持向量机演化而来的,与线性支持向量机的主要区别在于它可以处理非线性可分的数据集。这是通过使用一种所谓的“核技巧(Kernel trick)”来实现的。原始的线性支持向量机试图在样本的特征空间中寻找一个线性超平面,可以最大化地分隔两个类别的样本。然而,在实际情况中,我们经常会遇到一些问题,其中两个类别的样本无法通过一个线性超平面来完全分隔。

weixin_62457573的博客 2029

PHP与Node.js的对比及优缺点分析

PHP和Node.js是两种常用的服务器端编程语言,它们在不同的应用场景下各有优势和劣势。本文将全方位比较PHP和Node.js的特点,以及它们在编程中的优缺点,并提供相应的源代码示例供参考。需要注意的是,本文只是对PHP和Node.js的一些优缺点进行了简要介绍,实际应用中还需要考虑其他因素,如团队经验、项目规模和预算等。最终的选择应该基于全面的评估和需求分析。PHP:PHP是一种同步阻塞的编程语言,它的处理方式是一次只处理一个请求。Node.js:Node.js的性能较高,特别适合处理高并发的请求。

ByteSparkX的博客 888

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

【支持向量机SVM系列教程2】非线性SVM

2 非线性SVM 2.1 SVM问题的对偶化 在介绍非线性SVM之前,有必要先来看一下什么是SVM问题的对偶化,目的是: 如何通过对偶化将线性SVM与非线性SVM联系起来; 对偶问题是如何简化问题的求解的。 2.1.1 对偶的概念 大多数问题可以从两个角度来看待: Primal Problem(原问题) Dual Problem(对偶问题) 而对偶问题中有一个非常重要的性质——强对偶性,它是指:对偶问题的解即为原问题的解,两者的解相互等价。所以,当原问题的求解过于复杂时,我们可以绕个圈子:先求对偶问

qq_42554780的博客 2501

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

详解SVM支持向量机算法(三:软间隔SVM和非线性SVM)

目录 背景 线性支持向量机(软间隔SVM) 硬间隔的问题 引入松弛变量 目标函数的优化 生成拉格朗日函数 软间隔原始问题 软间隔对偶问题 求解思路: 对偶问题的求解 先求L函数对w,b,ξ的极小值 分析软间隔支持向量得出结论 总结软间隔SVM算法分析求解过程 设定惩罚系数C-构造优化问题 用SMO算法求出α* 计算W 找到全部的支持向量,计算出b 求b均值 非线性支持向量机 升维处理线性不可分 SVM的升维 维度爆炸和计算量问题 引入核函数取代计算非线性...

RayChiu757374816的博客 3391

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

支持向量机原理之线性SVM与非线性SVM

一、什么是SVM? SVM的英文全称是Support Vector Machines,我们叫它支持向量机。支持向量机是我们用于分类的一种算法。让我们以一个小故事的形式,开启我们的SVM之旅吧。 在很久以前的情人节,一位大侠要去救他的爱人,但天空中的魔鬼和他玩了一个游戏。 魔鬼在桌子上似乎有规律放了两种颜色的球,说:“你用一根棍分开它们?要求:尽量在放更多球之后,仍然适用。” 于是大侠这样放,干的不错? 然后魔鬼,又在桌上放了更多的球,似乎有一个球站错了阵营。显然,大侠需要对棍做出调整。 SVM就是试图

潜行者的博客 9646

机器学习-支持向量机 -- 软间隔SVM和非线性SVM

上篇文章讲了硬间隔SVM,利用间隔最大化求最优超平面和决策函数 -Q:现实中, 很难找到一个超平面使得训练样本在特征空间中线性可分; 同时一个线性可分的结果也很难断定是否是有过拟合造成的. -A:引入”软间隔”的概念, 允许支持向量机在一些样本上不满足约束. 一、软间隔SVM 1. 松弛变量 2.软间隔SVM模型 3. 使用对偶求解 4. 软间隔SVM算法 5. 软间隔支...

Sabrina_cc的博客 3703

支持向量机(SVM)原理小结(2)非线性支持向量机

支持向量机(SVM)原理小结(2)非线性支持向量机1. 非线性支持向量机1.1 图示举例1.2 核技巧1.3 核技巧在支持向量机中的应用1.4 常用核函数1.5 学习算法1.6 联想:多项式回归(线性回归推广)2. 代码示例:使用非线性kernel SVM解决非线性问题完整代码地址参考 本博客中使用到的完整代码请移步至: 我的github:https://github.com/qingyujean/Magic-NLPer,求赞求星求鼓励~~~ 1. 非线性支持向量机 什么是非线性分类问题:通过利用非线性模型

小白的专栏 3460

支持向量机(SVM):从线性到非线性的华丽转身【SVM系列(五)】

核函数是核技巧的关键组成部分,它是在低维空间上计算高维空间内积的一种方法。在进行高维映射时,如果直接在高维空间中计算内积,计算量会非常大,甚至在某些情况下是不可行的。而核函数的出现,大大减少了计算量。它就像是一个计算 “捷径”,让我们无需在高维空间中进行繁琐的计算,就能得到高维空间内积的结果。这不仅提高了计算效率,还使得 SVM 在处理大规模数据时变得可行。

weixin_73784131的博客 1010

Sklearn专题七:支持向量机SVM-非线性SVM与核函数

核函数能够帮助我们解决三个问题: 第一,有了核函数之后,我们无需去担心 究竟应该是什么样,因为非线性SVM中的核函数都是正定核函数(positive defifinite kernel functions),他们都满足美世定律(Mercer's theorem),确保了高维空间中任意两个向量的点积一定可以被低维空间中的这两个向量的某种计算来表示(多数时候是点积的某种变换)。 第二,使用核函数计算低维度中的向量关系比计算原本的要简单太多了。 第三,因为计算是在原始空间中进行,所以避免了维

Colorfully_lu的博客 2220

SVM(三):非线性支持向量机

现实任务中,训练样本经常不是线性可分的,即原始样本空间中并不存在一个能正确划分两类样本的超平面。 对于这样的问题,基于Mercer核展开定理,通过内积函数定义的非线性变换,将样本从原始空间映射到一个高维特征空间(Hibbert空间),使得样本在这个高维特征空间内线性可分(升维线性化)。

聚集机器学习、信息安全 2571

支持向量机(Support Vector Machine, SVM):最一般情况(非线性)公式推导

看博客或教材时,总觉得推导写的太简单,所以这里自己推导一下支持向量机的公式。部分推导会写在纸上,贴图上来,因为太长了,用latex敲实在是麻烦,如果哪里看不清楚或者哪里有误,还望评论指出,我及时修改。会不断更新的。 目录 三种基本的SVM: 三者关系: 核技巧: 推导 超平面 证明wT是法向量 证明向量指向的方向就是正实例的一侧 推导点到平面距离公式 优化函数的构建 含有不等...

Leon_winter的博客 1343

【ML】SVM(7) 非线性支持向量机

非线性SVM

0x00 267
上一篇: SVM-SVC分类
下一篇: 决策树-分类+回归
Arron_yuan
博客等级 码龄12年 11粉丝 24原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值