SVM 的俩种视角

Multi-view Learning 多视角学习入门 Multi-view Learning 多视角学习入门 标签:机器学习 在上海呆了一年了,从啥都不会 到 啥都不会,还是要回归博客,做做小结整理整理…… 多视角学习是老板的拿手好戏,最近布置的任务也和多视角相关。经过老板的一番吐槽,在找论文时候要注意其上过哪些会议,比较好的会议上论文的质量较高。经过多方求助,入门可以从最精(xuan)华(xue)的综述开始看起。 Xu C, 阅读详情

 

本篇博文参考来自李航统计学习方法,周志华机器学习,李宏毅机器学习课程,还有sklearn的官方文档http://sklearn.apachecn.org/cn/0.19.0/modules/svm.html

支持向量机的优缺点

优点:

  • 即使在数据维度比样本数量大的情况下仍然有效.
  • 在决策函数(称为支持向量)中使用训练集的子集,因此它也是高效利用内存的.
  • 高效性:可以通过核函数来处理线性及非线性数据
  • 鲁棒性1:对支持向量机有效的样本集是支持向量的样本,删除非支持向量样本数据,对支持向量机不产生影响
  • 鲁棒性2:软间隔的支持向量机如下图所示,即使有一些样本出现在街道内,只要还没有越过边界,依然可以将它们分类准确

缺点:

  • 支持向量机需要将很多数据放到内存里面一起进行运算,SVC 类基于libsvm库,它实现了支持核技巧的算法。训练时间复杂度通常介于O(m^2 × n)和O(m^3 × n)之间。不幸的是,这意味着当训练样本变大时,它将变得极其慢
  • 支持向量机对特征的大小非常敏感,而有些数据不是仅仅依靠对特征值进行标准化就能消除这一部分影响的,比如在我看来one-hot类型数据还是用树模型要合适一些。
  • 支持向量机不向logistic、softmax模型有着概率的含义。这是由它的损失函数是hinge-loss导致的

 

超平面视角

从这种角度来看呢,SVM就是一个优化问题,用二次规划问题来求解。比如SMO等方法(机器学习实战详细提供了用SMO求解的步骤)

线性 SVM 分类器通过简单地计算决策函数 来预测新样本的类别:如果结果是正的,预测类别ŷ是正类,为 1,否则他就是负类,为 0

公式如下:

我们的训练目标就是:(硬间隔,如果对几何间隔和函数间隔还不太清楚,建议仔细阅读《统计学习方法》97页-100页)

我们可以看出这个问题实际上就是一个凸二次规划问题,想到这又一次难受了,总觉得凸规划的知识不够用,但是最近一直没有太多时间去学sigh。。。。

这个问题可以证明若训练集T线性可分,则可将训练集分离出来的超平面存在且唯一。李航101页

为了获得软间隔的目标,我们需要对每个样本应用一个松弛变量(slack variable)ξ。ξi 表示了第i个样本允许违规间隔的程度。我们现在有两个不一致的目标:一个是使松弛变量尽可能的小,从而减小间隔违规,另一个是使1/2 w·w尽量小,从而增大间隔。这时C超参数发挥作用:它允许我们在两个目标之间权衡,软间隔下的SVM公式如下

不管是软间隔还是硬间隔也好,都是二次规划问题(QP问题)这种问题的一般公式如下:

根据上面的通用公式我们很容易得到硬间隔的优化目标:

p是(n+1)维的w 向量 n是代表特诊变量的数目,n+1包含了常数项

H则是(n+1)x(n+1)维的特征向量

f是0

A则是 m x (n+1)维的特征向量

b是m维的-1

对于软间隔还是一样得到优化目标:

只不过在原来基础上稍微有一点小的改动,比如

H现在是(n+1+m)x (n+1+m)维数据等等。。。由于自己写公式太累

但是用QP的方法去解,就无法用核技巧,使用核技巧我们将会看到一个不同的约束优化问题。

对偶问题

这种QP问题还可以给出一个约束优化问题,即原始问题(primal problem),它可能表示不同但是和另一个问题紧密相连,称为对偶问题(Dual Problem)。对偶问题的解通常是对原始问题的解给出一个下界约束,但在某些条件下,它们可以获得相同解。幸运的是,SVM 问题恰好满足这些条件,所以你可以选择解决原始问题或者对偶问题,两者将会有相同解。(请阅读把李航统计学习方法104-106页,如果不明白KKT点这些条件请阅读拉格朗日法)

这里还是一个二次规划问题

我们依旧可以求解得到:

核技巧

你想把一个 2 次多项式变换应用到二维空间的训练集,把原来不是线性可分的数据映射到另一个空间变成线性可分的,那就不得不采用核变换,比如这样的一个数据映射后的效果是:

转换后向量的点积等于原始向量点积的平方:

关键点是:如果你应用转换ϕ到所有训练样本,那么对偶问题将会包含点积 。但如果ϕ像在 2 次多项式转换,那么你可以将这个转换后的向量点积替换成 。所以实际上你根本不需要对训练样本进行转换:仅仅需要在公式 5-6 中,将点积替换成它点积的平方。结果将会和你经过麻烦的训练集转换并拟合出线性 SVM 算法得出的结果一样,但是这个技巧使得整个过程在计算上面更有效率。这就是核技巧的精髓

常见的核函数有rbf核、多项式核,RBF可以依据泰勒公式展开,将其映射到无穷维度的空间

至于怎么定义核函数好像要服从一个mercy定理。。。事实上我的理解是只要核函生成的矩阵是半正定的都可以,李航的书121页给出了证明。

sklearn 中自己定义的一个核

这样超平面视角我们就讲完了!

Hinge—LOSS视角去看SVM

其实SVM也可以用梯度下降的方式去解:

我们可以这样观察我们刚开始的公式

我们开始的作为松弛变量的软间隔ζ正好就是hidgeloss!!! 

根据李航的114页hinge-loss其实就是整个模型的损失函数,这意味着我们也可以用梯度下降的方法去进行求解!!

同样是分类问题,logistic模型的LOSS

SVM的LOSS

我们很容易发现一个事实,hidge呢是只要大于1就好,而logistic则是精益求精,要越大越好

 

所以我们可以得到Linear的步骤是,这里的w的二范数看成了正则化项

从这个梯度下降角度我们依旧可以得到,即w是数据的线性组合:alpha在这里只是一个权重而已,

这个是怎么得到的呢?让我们回顾一下梯度下降的步骤

我们把w初始化为0

然后对w求导:

然后我们开始梯度下降:

这里的w1是0 ,那么w自然就是数据向量x的线性组合啦!

启示

从这里我们可以看出来SVM梯度下降方法是怎么求解的,SVM存在数据点内积的情况,那我们自然也可以联想到Logistic模型、线性回归也都可以用核变换啦!

 

 

'''
还是很难去接受你离开我们的事实,有的人大概就像流星一样,即使是一瞬也发出了比太阳还强烈的光芒,北航66周年校庆,我想如果你在的话,肯定是那个挥舞大旗,向校友们介绍北航最新发展,并大声说出“归航正青春”的人吧。扼腕!!!
'''

简单粗暴理解支持向量机(SVM)及其MATLAB实例 目录 SVM概述 SVM的改进:解决回归拟合问题的SVR 多分类的SVM QP求解 SVM的MATLAB实现:Libsvm 【实例】用SVM分类 【实例】用SVM回归 SVM概述 SVM已经是非常流行、大家都有所耳闻的技术了。网络上也有很多相关的博客,讲解得都非常详细。如果你要从零开始推导一个SVM,细致抠它全程的数学原理,我建议可以阅读此篇文章:Zhang Hao的《从零构建支... 阅读详情

相关推荐

解码分类的超级英雄——支持向量机(SVM)

SVM模型可能会被不少企业弃用,但实际上,在中等数据集的分类算法,SVM模型的作用可能是优于其他算法的。这篇文章里,作者分享了SVM模型的应用步骤和优劣势等方面,一起来看一下。很久没有聊算法了,我们来聊一个比较特殊的一个算法——支持向量机。由于它在金融市场预测,图像识别太过于实用,但不太好理解,一两句话不太好概括,我们先用一个很简单的故事来开头吧~

juan9872的博客 1052

核函数的充要条件-Mercer定理的证明

核函数的充要条件是K矩阵是半正定的。 将K特征值分解,有V'KV=∧,K=V∧V' 经特征映射将属性值映射到特征空间Ф:xi->sqrt(λ:)*Vi: (根号对角特征值阵*第i点对应的特征向量阵的第i行阵) 核函数K(x,z)对应于特征映射Ф的核函数=

lijil168的专栏 1万+

cv君独家视角 | AI内幕系列十九:仁兄,可曾听闻支持向量机?

仁兄,可曾听闻支持向量机? 这是一篇机器学习算法——支持向量机(SVM)的原理篇,可能比较枯燥,但这正是大家在学习算法中必不可少的一步:忍受枯燥! 感兴趣的同学,可以关注一下,这期先介绍原理,再慢慢的一步一步实践,到大家亲手用会SVM(小编也不是很熟,就当是一起学习的过程了~) (一)SVM的简介 支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年...

cv君的博客 1万+

自然语言11_情感分析

  sklearn实战-乳腺癌细胞数据挖掘(博主亲自录制视频教程) https://study.163.com/course/introduction.htm?courseId=1005269003&utm_campaign=commission&utm_source=cp-400000000398149&utm_medium=share   一、什么是情感分析 情感...

weixin_34025151的博客 1555

Krylov子空间与Arnoldi过程

一、应用背景 Krylov子空间方法是模型降阶(MOR)的一种,Krylov 子空间方法就是在Krylov子空间中寻找近似解。 二、Krylov子空间 n是原始矩阵的维度,m为降阶后矩阵的维度,通常m<<n。 三、Arnoldi 过程: 计算Km 的一组正交 对应上述MGS过程的python代码: import numpy as np def arnoldi_itera...

保持写作习惯,完成知识沉淀 6005

压电陶瓷传感器避坑指南:实测阻抗匹配对信号输出的影响(附示波器调试技巧)

本文深入探讨压电陶瓷传感器在工业振动监测中的阻抗匹配问题,通过等效电路模型和实测数据揭示负载阻抗对信号输出的关键影响。文章提供从元件选型到示波器调试的完整解决方案,特别强调100kΩ以上负载阻抗的重要性,并分享JFET缓冲器设计和PCB布局的实用技巧,帮助工程师避免信号失真和输出不稳定问题。

ooo22的博客 517

Mercer定理

Mercer定理:任何半正定对称函数都可以作为核函数。 核函数作用:接受两个低维空间里的向量,可以计算选出经过某种变换后在高维空间里的向量内积。 核函数的充要条件是K矩阵是半正定的。 将K特征值分解,有V'KV=∧,K=V∧V' 经特征映射将属性值映射到特征空间Ф:xi->sqrt(λ:)*Vi: (根号对角特征值阵*第i点对应的特征向量阵的第i行阵) 核函数K(x,z)对应于特征映射Ф的核函

sinat_22510827的博客 1万+

MuJoCo柔性体仿真实战:从FlexComp建模到自定义模型导入

柔性体仿真是机器人交互研究中不可或缺的一环,MuJoCo作为高精度物理求解器,凭借高效的求解速度与批量并行能力,成为强化学习与软体抓取任务的热门选择。其FlexComp机制将连续材料离散为粒子-约束系统,以较低建模成本模拟布料、软组织等形变行为,相比Gazebo等平台更具实时性与可扩展性。技术价值体现在自定义柔性体建模与导入流程中:通过XML配置网格密度、间距与材料参数,即可生成贴合任务需求的软体垫子或硅胶抓手。在柔性抓取、颗粒抓手、医疗仿真等场景中,该方法能快速构建可训练的环境。围绕环境搭建、FlexCo

weixin_29045585的博客 163

多视角学习 (Multi-View Learning) 简介

版权所有, 如需引用和转载, 请站内联系. 多视角学习 (Multi-View Learning) 简介 Views from (1) multiple sources (2) different feature subsets; 视角来自于 (1) 多个源 (2) 多个特征子集 Multi-view learning algorithms: (1)...

weixin_33895516的博客 2054

基于matlab的CNN物体识别物体分类系统

主要对物体进行识别,搭建一个物体分类系统本次实验选择规模稍大的 CIFAR-10 数据集进行分类识别,对应图像的大小设计 VggNet、ResNet 进行网络训练。在实际操作过程中,受限于数据规模和硬件配置,对于大小放缩、批次参数、训练步数等进行了多次调试,这也对以后的图像分类任务具有较高的参考意义,并通过对 CIFAR-10 数据集进行训练和评测,采用网络修改的方式来得到新的 CNN 结构,适用于对网络进行配置、融合等相关研究。读者可以通过自行设计或选择其他网络、加载其他数据等方式进行实验的延伸。

在职AI算法工程师,擅长计算机视觉,YOLO目标检测、分割等,擅长web、pyqt界面可视化,好内容持续更新中,来这里跟大家一起学习,共同进步 2008

FineBI学习总结

交叉表:一组作为行标题显示在表的左部,另一组作为列标题显示在表的顶部。连接到数据,如果数据不满足数据分析的需求,先进行自助数据集处理。数据集分类:DB表、SQL、Excel、自助数据集。分组表:将报表中的数据按相同项合并为一组显示。1、数据准备2、制作仪表板3、分享仪表板。左合并:保留左边全部数据,合并右边。右合并:保留右边全部数据,合并左边。上下拼接:上下拼接到一张表数据。3、如何实现拼表:多表拼一张。分组–业务包–数据集–字段。字段分类:数值、文本和日期。目录–仪表板–数据准备。维度:文本和日期类型。

Rsun2018的博客 1563

机器学习算法 08 —— 支持向量机SVM算法(核函数、手写数字识别案例)

文章目录系列文章支持向量机SVM算法1 SVM算法简介1.1 引入1.2 算法定义2 SVM算法原理2.1 线性可分支持向量机2.2 SVM计算过程与算法步骤(有点难,我也没理解透,建议跳过)推导目标函数目标函数求解拉格朗日乘数法对偶问题整体流程确定3 SVM的损失函数4 SVM的核方法4.1 什么是核函数4.2 常见核函数5 SVM回归6 SVM算法API介绍6.1 SVM算法API综述6.2 SVC6.3 NuSVC6.4 LinearSVC7 案例:数字识别器7.1 案例背景介绍7.2 数据介绍7.3

zcy的博客 2万+

贝叶斯网络在R语言中的应用

本文将介绍如何在R语言中使用贝叶斯网络进行建模和推断,并提供相应的源代码示例。以上就是在R语言中使用贝叶斯网络进行建模和推断的基本步骤。通过构建贝叶斯网络模型并使用相应的函数,我们可以对变量之间的依赖关系进行建模、推断和预测。在建立了贝叶斯网络模型后,我们可以使用数据集来估计变量之间的条件概率。接下来,我们可以使用数据集来构建贝叶斯网络模型。除了进行推断,我们还可以使用贝叶斯网络模型进行预测。一旦我们获得了贝叶斯网络模型和条件概率表,我们就可以使用该模型进行推断。首先,我们需要安装并加载相关的R包。

CodeMaven的博客 1280

快速理解支持向量机实现图像分割(Matlab实现基于SVM的图像分割)

@Matlab实现基于SVM的图像分割 如何通过一篇文章就理解支持向量机实现图像分割 最近是Matlab实验周,我选择的课题是支持向量机实现图像分割,说实话比较让人头大,因为向量机训练的效果不佳,切割出来的图片奇奇怪怪五花八门(甚至还有些搞笑),开始的时候是从优快云上copy的代码直接运行,我觉得选像素点和向量机训练过程有一些问题,查阅资料之后,我对向量机有了新的理解。(文章结尾有能够成功运行的Matlab代码) 查阅资料 先贴一段我从图书馆借来的书上关于SVM的原话:支持向量机的基本思想是:定义最优线性

低调鬼鬼的博客 6657

CKA-题库-简洁参考答案-反复练习20遍-必过!!!

新版CKA考试已于2020年9月1日正式上线! 考试模式:线上考试 考试时间:2小时 认证有效期:3年 软件版本:Kubernetes v1.19 重考政策:可接受1次重考 经验水平:中級 题目数量:17题 题库量小:随机的题目重复率极高 考试时可打开两个浏览器Tab,一个是考试窗口,一个用来查阅官方文档](https://kubernetes.io/docs/) 01 Task - 英文 Create a new ClusterRole named deployment-clusterrole tha.

随笔记录-分享&记忆 7320

YOLOv11【第二章:核心模块进阶篇·第28节】DynamicHead动态检测头设计!

🏆 本文收录于专栏 《YOLOv11实战:从入门到深度优化》。本专栏围绕 YOLOv11 的改进、训练、部署与工程优化 展开,系统梳理并复现当前主流的 YOLOv11 实战案例与优化方案,内容目前已覆盖 分类、检测、分割、追踪、关键点、OBB 检测 等多个方向。

**My Coding Family** 1万+

svm支持向量机_换种视角看问题——支持向量机(SVM)

本文作者:王 歌文字编辑:孙晓玲技术总编:张 邯Stata暑期线上课程火热招生中~爬虫俱乐部将于2020年7月11日至14日在线上举行为期四天的Stata编程技术定制培训。课程通过案例教学模式,旨在帮助大家在短期内掌握Stata的基本命令、编程、数据处理以及结果输出等技术,并针对最新版Stata中的实用新功能做出详细介绍,包括框架功能(frame:读入多个数据集)等等。同时,此次...

weixin_39553904的博客 146

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

支持向量回归预测怎么做_换种视角看问题——支持向量机(SVM)

换种视角看问题——支持向量机(SVM) 本文作者:王 歌 文字编辑:孙晓玲 技术总编:张 邯我们今天的介绍从一个小故事开始。 魔鬼把大侠的妻子劫走了,大侠为了救她,来和魔鬼交涉。魔鬼说:“你若能解答出我的问题,我便放了她”。大侠同意了,随后魔鬼大手一挥,在桌子上出现了两种颜色的球,要求用一根棍子将它们分开: 大侠不假思索将棍子放在了中间的位置。 为了刁难他,这时魔鬼又挥了挥手,球...

weixin_39994949的博客 835

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

SVM永不过时!Transformer它就是个支持向量机

©作者 |蛋酱、小舟来源|机器之心SVM is all you need,支持向量机永不过时。Transformer 是一个支持向量机(SVM)一种新型理论在学界引发了人们的讨论。上周末,一篇来自宾夕法尼亚大学、加州大学河滨分校的论文试图研究大模型基础 Transformer 结构的原理,其在注意力层的优化几何与将最优输入 token 与非最优 token 分开的硬边界 SVM 问题之间建立...

Paper weekly 833

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

机器学习:支持向量机(svm)

title: 机器学习:支持向量机(svm) date: 2019-11-30 22:29:07 mathjax: true categories: 机器学习 tags: 机器学习 机器学习:支持向量机(svm) 代码待补充 本文只讲述支持向量机(svm)的基础,不涉及任何高深东西。 1. 支持向量机 作用 先看一图: 我们第一直觉就是在两堆点中间画一根线,分开两类点。 2. 如何...

weixin_42479155的博客 560

支持向量机SVM

支持向量机是一种强大且实用的分类算法,尤其在文本分类中表现出色。通过本项目,我们不仅掌握了 SVM 的理论基础,还通过实际构建了垃圾邮件检测系统。

2302_81076207的博客 1119

支持向量机-SVM

文章目录概念线性可分支持向量机线性分类问题目标函数的建立拉格朗日乘子法拉格朗日函数计算拉格朗日函数的对偶函数 概念 线性可分支持向量机 线性分类问题 目标函数的建立 根据上述假设,输入的数据为 拉格朗日乘子法 拉格朗日函数 计算拉格朗日函数的对偶函数 ...

weixin_40207586的博客 137

机器学习算法:支持向量机SVM

摘要:支持向量机(SVM)是一种监督学习算法,通过最大化分类间隔寻找最优决策边界,其核心由少数"支持向量"决定。SVM使用超平面分割数据,间隔越大泛化能力越强。核技巧处理非线性问题,软间隔平衡分类误差。适用于图像分类、文本分类等高维场景,但训练耗时且参数选择依赖经验。优势在于高维表现和泛化能力,缺点包括可解释性较弱和大数据效率低。SVM如同"挑剔的砌墙师傅",依赖边界关键点并用核函数解决复杂问题。

--Joern的物联领域-- 1377

支持向量机(SVM)详解:从线性分类到核技巧的完美升级

支持向量机不仅是一种算法,更是一种"抓大放小"的智慧体现——通过关注关键的支持向量,忽略冗余信息,在复杂问题中找到最简洁的解决方案。从线性到非线性的升级,从分类到回归的拓展,SVM以数学之美诠释了机器学习的核心思想。尽管在深度学习时代面临挑战,但其在小样本、高维特征场景中的优势,依然让它在数据科学领域占据重要一席。理解SVM,不仅是掌握一种算法,更是理解机器学习中"优化"与"泛化"的平衡艺术。

2401_86968005的博客 1164

支持向量机(SVM)原理与应用

支持向量机(SVM)是由 Vapnik 等人提出的经典机器学习算法,核心是通过寻找最大间隔超平面实现分类,结合核技巧处理非线性问题,具有稀疏性和稳健性。本文系统阐述了 SVM 的核心原理、数学基础、扩展技术及实际应用,分析其在文本分类、图像识别、生物信息学等领域的优异表现,对比其与深度学习模型的差异,指出其优缺点及适用场景,并展望未来发展趋势,为理解和应用 SVM 提供全面参考。

reset2021的博客 1823

支持向量机(SVM):从线性到非线性的华丽转身【SVM系列(五)】

核函数是核技巧的关键组成部分,它是在低维空间上计算高维空间内积的一种方法。在进行高维映射时,如果直接在高维空间中计算内积,计算量会非常大,甚至在某些情况下是不可行的。而核函数的出现,大大减少了计算量。它就像是一个计算 “捷径”,让我们无需在高维空间中进行繁琐的计算,就能得到高维空间内积的结果。这不仅提高了计算效率,还使得 SVM 在处理大规模数据时变得可行。

weixin_73784131的博客 1010
上一篇: 用sklearn做一个完整的机器学习工程——以波士顿房价预测为例(三、调参,找最优参数)
下一篇: 关于大数据精准营销中搜狗用户画像挖掘比赛的一些感悟(看第一名代码有感)
PythonstartL
博客等级 码龄9年 31粉丝 16原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值