SVM——支持向量回归(SVR)

最新推荐文章于 2024-10-19 10:44:37 发布
最新推荐文章于 2024-10-19 10:44:37 发布
阅读量4.6k 收藏 34
点赞数 2
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/watermelon12138/article/details/90239794
版权
本文详细介绍了支持向量回归（SVR）的概念，包括原始问题、对偶问题和支持向量的定义。通过解析SVR的目标表达式和拉格朗日函数，展示了如何从原始问题转换为对偶问题，并解释了支持向量在模型中的作用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1、支持向量回归的原始问题

先来看看SVM线性支持向量机(软间隔)的原始问题：
在这里插入图片描述
其中ξi是松弛变量，但它实际上是hinge(合页)损失函数，所以ξi也作为对应的点(xi, yi)的损失，如下图所示：
在这里插入图片描述
当点(xi, yi)位于间隔面上或者间隔面之外(这两种都是正确分类的情况)则ξi=0，若点(xi, yi)位于分割面上或者位于间隔面与分割面之间(正确分类)或者位于间隔面与分割面之间(错误分类)，这三种情况都是有损失的，损失为 1 - yi(w·xi + b)。

SVM线性支持向量机(软间隔)的原始问题等价于如下问题：
在这里插入图片描述
好了现在来看SVR的原始问题：在这里插入图片描述
如上图所示，SVR需要学到一个最大间隔(几何间隔)的回归面或回归线，ε代表精度，在2ε间隔之内的点和间隔面上的点离回归面最近，所以认为这些点的预测结果比较可靠，是没有损失的，而2ε间隔之外的点离回归面较远，所以认为这些点的预测结果不太可靠，是有损失的。而敏感度损失函数刚好就能用来计算每个点的损失，如下图所示：
在这里插入图片描述
其中w·xi+b代表预测值，yi是实际值，|w·xi+b - yi|表示误差绝对值，如果点(xi, yi)的预测误差绝对值小于等于ε，则ξi=0，ξi代表损失；如果点(xi, yi)的预测误差绝对值大于ε，则ξi= |w·xi+b - yi| - ε。
综上所述得出SVR的原始约束问题：
在这里插入图片描述
其中约束条件的意义就是让所有的点(xi, yi)都满足敏感度损失函数，也就是让 ξi 能足够代替点(x

最低0.47元/天 解锁文章
【回归算法解析系列10】支持向量回归（Support Vector Regression, SVR）
熵数实验室
03-19 2094
SVR通过核技巧与ε带巧妙地平衡了模型复杂度与预测精度。RBF核在处理多数非线性问题时表现出色，能够有效地拟合复杂的数据分布；而线性核则在大规模数据计算中展现出优势，通过简化计算过程，提高了模型的训练效率。支持向量占比为我们提供了一个重要的指标，它反映了数据的内在结构和维度，有助于我们进行特征工程，优化模型性能。
【机器学习系列】之支持向量回归SVR
qq_41995574的博客
05-08 6488
作者：張張張張 github地址：https://github.com/zhanghekai 【转载请注明出处，谢谢！】
机器学习——支持向量回归(SVR)
影龙武的博客qq_43594119
02-25 4615
机器学习——支持向量回归(SVR) educoder平台练习题 1.线性可分支持向量机 题目 2.线性支持向量机 import pandas as pd #获取训练数据 train_data = pd.read_csv('./step1/train_data.csv') #获取训练标签 train_label = pd.read_csv('./step1/train_label.csv') train_label = train_label['target'] #获取测试数据 test_da
支持向量回归机(SVR)
12-05
详细了解支持向量机额的算法原理，进而明白SVR与SVM的区别，
支持向量回归(SVR)
最新发布
handsomeboysk的博客
10-19 5892
支持向量回归（SVR）是对 SVM 的扩展，用于回归问题。它通过引入ϵ\epsilonϵ-不敏感损失函数，允许预测值与真实值在一定范围内存在误差，并通过优化模型复杂度和误差的折中，找到一个最优回归模型。SVR 的最终决策函数类似于 SVM，仍然依赖于支持向量。
【机器学习】SVR支持向量机回归
热门推荐
artzers的专栏
09-02 4万+
回归和分类从某种意义上讲，本质上是一回事。SVM分类，就是找到一个平面，让两个分类集合的支持向量或者所有的数据（LSSVM）离分类平面最远；SVR回归，就是找到一个回归平面，让一个集合的所有数据到该平面的距离最近。 　　我们来推导一下SVR。根据支持向量机二分类博客所述，数据集合归一化后，某个元素到回归平面的距离为r=d(x)−g(x)r=d(x)-g(x)。另外，由于数据不可能都在回归平面上，
支持向量机回归
优快云XXCQ的博客
03-14 7409
不同的核函数对应不同的映射方式，适用于不同的问题。在SVR中，假设输入数据集为{(xi, yi)|xi∈R^n, yi∈R}，其中xi是n维的特征向量，yi是对应的标签。与SVMC不同，SVMR的目标是最小化模型预测值与真实值之间的差异，即最小化预测值与真实值之间的误差平方和（Sum of Squared Errors, SSE），同时还要最大化间隔，以确保模型的泛化能力。其中，w是权重向量，b是偏置项，C是正则化参数，||w||^2是权重向量的L2范数，f(xi) = w^Txi + b是模型预测值。
机器学习基础---回归方法---支持向量回归（SVR）
jkgghvfuj的博客
11-14 6205
支持向量回归（SVR） 方法描述 核心思想： 用线性模型（f(x)=wTx+bf(x)=w^Tx+bf(x)=wTx+b）对回归问题进行拟合 确定的线性模型对应w，bw，bw，b唯一确定一个超平面wTx+b=0w^Tx+b=0wTx+b=0 不同于一般线性模型，在超平面两侧定义间隔ϵ\epsilonϵ，在间隔带内则不计算损失，当且仅当f(x)与y之间的差距的绝对值大于ϵ\epsilonϵ才计算损失 通过最大化间隔带的宽度与最小化总损失来优化模型 相关概念 硬间隔 最大容忍偏差为
support vector regression（SVR）支持向量回归
weixin_44177594的博客
04-26 2216
支持向量机、回归、机器学习 SVR---“宽容的回归模型”引出：请你说说回归问题可以设置支持向量机吗线性回归SVR---“宽容的回归模型”模型函数原理SVR的两个松弛变量主问题数学描述 引出：请你说说回归问题可以设置支持向量机吗 支持向量分类方法可以推广到解决回归问题。 这种方法称为支持向量回归，即support vector regression（SVR） 线性回归 线性回归：在向量空间里用线性函数去拟合样本。该模型以所有样本实际位置到该线性函数的综合距离为损失，通过最小化损失来求取线性函数的参数。 严格
支持向量回归
08-15
本工具箱使用遗传算法对三参数进行寻优处理，适合用于金融产品等其他数据的预测问题。
回归——支持向量机回归(SVR)
slx_share的博客
05-04 2万+
支持向量机回归(SVR)是支持向量机在回归问题上的应用模型。支持向量机回归模型基于不同的损失函数产生了很多变种。本文仅介绍基于ϵϵ\epsilon不敏感损失函数的SVR模型。 核心思想 找到一个分离超平面(超曲面)，使得期望风险最小。 ϵϵ\epsilon-SVR ϵϵ\epsilon-损失函数 ϵϵ\epsilon-损失函数，就是当误差小于ϵϵ\epsilon时，该误差可忽...
支持向量回归(Support Vector Regression)
u014611178的博客
10-19 4万+
支持向量回归(Support Vector Regression) 支持向量机除了能够分类，还可以用于回归。 回归的目的是得到一个能够尽量拟合训练集样本的模型f(x)f(\mathbf{x})f(x)，通常用的方法是构建一个样本标签与模型预测值的损失函数，使损失函数最小化从而确定模型f(x)f(\mathbf{x})f(x)。 例如，在线性回归模型中，损失函数(L2损失，L1损失，huber损失)由模型输出f(x)f(\mathbf{x})f(x)与真实输出yyy之间的差别来计算，通过最小化损失函数来确
机器学习二十二：支持向量机回归SVR
AI玩转智能
11-16 5477
AI菌在前四篇里面我们讲到了SVM的线性分类和非线性分类（核函数），以及在分类时用到的SMO算法。这些都关注于SVM的分类问题。实际上SVM也可以用于回归模型，本篇就对如何将SVM用于回归模型做一个总结。回归和分类从某种意义上讲，本质上是一回事。SVM分类，就是找到一个平面，让两个分类集合的支持向量或者所有的数据离分类平面最远；SVR回归，就是找到一个回归平面，让一个集合的所有数据到该平面的距离最
SVM拓展和SVR支持向量回归
简单快乐
07-10 3101
软间隔 在建立SVM模型时，假定正负样本是线性可分的。但是，实际有些时候，样本不是完全线性可分的，会出现交错的情况，例如下图。 这时，如果采用以下模型 minw,b{12∥w∥22},subject toyi(wTxi+b)≥1minw,b{12‖w‖22},subject toyi(wTxi+b)≥1min_{w,b}\{\dfrac{1}{2}\|w\|_2^2...
机器学习之支持向量回归（SVR）预测房价—基于python
qq_45856698的博客
04-01 1万+
本期使用爬取到的有关房价数据集data.csv，使用支持向量回归（SVR）方法预测房价。该数据集中“y1”为响应变量，为房屋总价，而x1-x9为特征变量，依次表示房屋的卧室数量、客厅数量、面积、装修情况、有无电梯、、房屋所在楼层位置、有无地铁、关注度、看房次数共计9项。数据集data.csv可在文末获取。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值