机器学习笔记 - 什么是支持向量回归(SVR)？

已于 2023-09-09 12:05:17 修改
阅读量5.1w 收藏 405
点赞数 43
CC 4.0 BY-SA版权
分类专栏： 深度学习从入门到精通 文章标签： SVM SVR 支持向量机 回归 核函数
于 2022-04-14 08:39:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/bashendixie5/article/details/124145254
支持向量回归(SVR)是基于支持向量机的回归分析方法，利用核函数在高维空间中寻找最佳拟合线。它通过ε-不敏感损失函数设定误差容忍度，对异常值进行处理。SVR具有良好的泛化能力和计算效率，尤其适合预测连续值。在sklearn库中，SVR函数提供多种参数调整以适应不同的回归任务。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、什么是支持向量回归

1、支持向量机

        在机器学习中，支持向量机是具有相关学习算法的监督学习模型，用于分析用于分类和回归分析的数据。在支持向量回归中，拟合数据所需的直线称为超平面。

         支持向量机算法的目标是在 n 维空间中找到一个对数据点进行明确分类的超平面。超平面两侧最接近超平面的数据点称为支持向量。这些影响超平面的位置和方向，从而有助于构建 SVM。

        上面图形对应的代码。

import time

import numpy as np
import matplotlib
matplotlib.use('svg')
import matplotlib.pyplot as plt

from sklearn.svm import SVR
from sklearn.kernel_ridge import KernelRidge
from sklearn.model_selection import GridSearchCV
from sklearn.gaussian_process import GaussianProcessRe
了解本专栏 订阅专栏 解锁全文
【机器学习】支持向量回归
LJR的博客
12-04 3869
支持向量回归 SVR 回归模型 支持向量机 管道 惩罚 拉格朗日 KKT 对偶 互补松弛 支持向量 几何意义 间隔 边界 超平面
【学习笔记】 陈强-机器学习-Python-Ch14 支持向量机
2201_76026029的博客
09-06 1457
本学习笔记 仅为以防自己忘记了，顺便分享给一起学习的网友们参考。如有不同意见/建议，可以友好讨论。本学习笔记 所有的代码和数据都可以从陈强老师的个人主页上下载陈强.机器学习及Python应用. 北京：高等教育出版社, 2021.数学原理等 详见陈强老师的PPT参考了：网友阡之尘埃的Python机器学习11——支持向量机。
【自学笔记】支持向量机（4）——支持向量回归SVR
qq_40432278的博客
09-25 1130
SVM解决了分类问题，而用类似方法解决回归问题的模型称为。目标是得到一个模型，使输出的fx与y尽可能接近。传统的回归模型直接计算fx与y的差距作为损失，当两者完全相等时损失为0；而SVR加入了支持向量，使得模型能够容忍ε的偏差，即在距离fx不超过ε的样本被认为预测正确，损失为0。
【机器学习】支持向量回归（SVR）从入门到实战：原理、实现与优化指南
Code哈哈笑的博客
05-14 2096
本文围绕支持向量回归（SVR）展开。SVR 是基于支持向量机的回归模型，通过最优超平面预测连续值，与分类的 SVM 不同，其采用 ε- 不敏感损失函数。数学上，通过最小化特定目标函数及核函数映射处理非线性问题。建模时，先对数据标准化，训练时关注核函数等参数，用均方误差等指标评估。超参数调优采用网格搜索交叉验证，如对 C 和 gamma 参数优化。核函数方面，线性核用于线性可分，RBF 核为默认处理非线性，多项式核需调阶数，以此实现 SVR 模型的构建与优化。
支持向量机SVM
最新发布
2302_82237047的博客
06-02 1345
在软间隔中，支持向量包括三类样本：1. 边界上的样本：满足且（对应2. 间隔内的正确分类样本：满足且（对应3. 错分样本：满足且（对应关键性质：软间隔超平面的位置由所有支持向量共同决定，而非仅由边界上的样本决定。错分样本和间隔内样本通过调整的值影响超平面，使模型在复杂数据中仍保持鲁棒性。核函数是一个函数 K(x , z) ，它接受两个低维空间中的输入向量 x 和 z ，输出它们在高维特征空间中的内积，即 K(x , z) = ⟨ ϕ(x) , ϕ(z) ⟩；其中 ϕ(
机器学习笔记 第六章支持向量机
qq_53034510的博客
07-29 884
对这样的问题，可将样本从原始空间映射到一个更高维的特征空间，使得 样本在这个特征空间内线性可分。如图所示，若将原始的二维空间映射到一个合适的三维空间，就能找到一个合适的划分超平面。现实中很难确定合适的核函数，使训练样本在特征空间中线性可分即便貌似线性可分，也很难断定是否因过拟合造成的，引入软间隔，允许在一些样本上不满足约束。采用替代损失函数，是在解决问题时的常见技巧，求解替代函数得到的解是否仍是原问题的解，理论上称为替代损失的“一致性”问题。的问隔带，若 训练样本落入此间隔带，则认为是被预测正确的。
支持向量回归（Support Vector Regression, SVR）详解
DuHz的博客
01-14 9442
支持向量回归（SVR）是支持向量机（SVM）在回归分析中的应用。与传统的回归方法不同，SVR不仅关注预测值与实际值之间的误差，还致力于在高维空间中寻找一个能够容忍一定误差范围内的最优超平面。SVR具有良好的泛化能力，能够有效处理高维数据和非线性关系，广泛应用于金融预测、工程建模、生物医学等多个领域。支持向量回归（，简称SVR主要优势强大的泛化能力：通过最大化间隔，SVR能够有效避免过拟合，具有良好的泛化性能，适用于高维和复杂的数据集。处理高维和非线性数据。
支持向量回归机(SVR)
12-05
详细了解支持向量机额的算法原理，进而明白SVR与SVM的区别，
【机器学习】SVR支持向量机回归
热门推荐
artzers的专栏
09-02 4万+
回归和分类从某种意义上讲，本质上是一回事。SVM分类，就是找到一个平面，让两个分类集合的支持向量或者所有的数据（LSSVM）离分类平面最远；SVR回归，就是找到一个回归平面，让一个集合的所有数据到该平面的距离最近。 　　我们来推导一下SVR。根据支持向量机二分类博客所述，数据集合归一化后，某个元素到回归平面的距离为r=d(x)−g(x)r=d(x)-g(x)。另外，由于数据不可能都在回归平面上，
支持向量回归(SVR)
handsomeboysk的博客
10-19 6376
支持向量回归（SVR）是对 SVM 的扩展，用于回归问题。它通过引入ϵ\epsilonϵ-不敏感损失函数，允许预测值与真实值在一定范围内存在误差，并通过优化模型复杂度和误差的折中，找到一个最优回归模型。SVR 的最终决策函数类似于 SVM，仍然依赖于支持向量。
机器学习——支持向量回归(SVR)
影龙武的博客qq_43594119
02-25 4661
机器学习——支持向量回归(SVR) educoder平台练习题 1.线性可分支持向量机 题目 2.线性支持向量机 import pandas as pd #获取训练数据 train_data = pd.read_csv('./step1/train_data.csv') #获取训练标签 train_label = pd.read_csv('./step1/train_label.csv') train_label = train_label['target'] #获取测试数据 test_da
支持向量机回归
优快云XXCQ的博客
03-14 7472
不同的核函数对应不同的映射方式，适用于不同的问题。在SVR中，假设输入数据集为{(xi, yi)|xi∈R^n, yi∈R}，其中xi是n维的特征向量，yi是对应的标签。与SVMC不同，SVMR的目标是最小化模型预测值与真实值之间的差异，即最小化预测值与真实值之间的误差平方和（Sum of Squared Errors, SSE），同时还要最大化间隔，以确保模型的泛化能力。其中，w是权重向量，b是偏置项，C是正则化参数，||w||^2是权重向量的L2范数，f(xi) = w^Txi + b是模型预测值。
支持向量机和支持向量回归
11-24
根据《Pattern Recognition and Machine Learning》这本书的第7章（稀疏核机）的7.1节，介绍了样本数据线性可分的线性可分支持向量机和样本数据重叠的线性支持向量机，以及支持向量回归。详细介绍了公式的推导过程，以及SMO算法。
[翻译] 支持向量回归SVR的介绍
先说一下，就简单地写点儿氵文，不是博客，只是我的笔记本/工具书
08-14 1878
https://towardsdatascience.com/an-introduction-to-support-vector-regression-svr-a3ebc1672c2
【支持向量机SVM系列教程3】支持向量回归SVR
qq_42554780的博客
09-30 7261
3 支持向量回归SVR 使用支持向量机算法不仅能解决分类问题，还能解决回归问题。 3.1 解决的目标 支持向量回归所要解决的问题是：对于给定如下的的训练数据集， D={(x1,y1),(x2,y2) ...,(xm,ym)},yi∈R D=\{(\boldsymbol x_1,y_1),(\boldsymbol x_2,y_2) \,...,(\boldsymbol x_m,y_m)\},y_i \in \mathbb{R} D={(x1​,y1​),(x2​,y2​)...,(xm​,ym​)},yi​∈
support vector regression（SVR）支持向量回归
weixin_44177594的博客
04-26 2250
支持向量机、回归、机器学习 SVR---“宽容的回归模型”引出：请你说说回归问题可以设置支持向量机吗线性回归SVR---“宽容的回归模型”模型函数原理SVR的两个松弛变量主问题数学描述 引出：请你说说回归问题可以设置支持向量机吗 支持向量分类方法可以推广到解决回归问题。 这种方法称为支持向量回归，即support vector regression（SVR） 线性回归 线性回归：在向量空间里用线性函数去拟合样本。该模型以所有样本实际位置到该线性函数的综合距离为损失，通过最小化损失来求取线性函数的参数。 严格
支持向量回归SVR
m0_46371988的博客
05-13 3328
支持向量回归算法在做大型项目，尤其是数据标签等相对复杂的项目时特别有用。 支持向量回归算法无论在线性回归场景还是非线性回归场景都有广泛的应用。 SVR在驱动上有很多不同的类型，但应用最广泛的是高斯核和径向基函数核。 好处是可以极大地减少计算的消耗。 SVR能够对输入空间进行分类，获取一个预估器，不需要对数据进行处理，就能知道数据处于怎样的空间，这可以极大地减少数据的计算，尤其是复杂数据的计算。 因此，SVR在数据量比较大、特征比较多的时候很有应用价值的原因。 ...
支持向量回归(Support Vector Regression)
u014611178的博客
10-19 4万+
支持向量回归(Support Vector Regression) 支持向量机除了能够分类，还可以用于回归。 回归的目的是得到一个能够尽量拟合训练集样本的模型f(x)f(\mathbf{x})f(x)，通常用的方法是构建一个样本标签与模型预测值的损失函数，使损失函数最小化从而确定模型f(x)f(\mathbf{x})f(x)。 例如，在线性回归模型中，损失函数(L2损失，L1损失，huber损失)由模型输出f(x)f(\mathbf{x})f(x)与真实输出yyy之间的差别来计算，通过最小化损失函数来确
支持向量机回归（概念+实例）
weixin_47151388的博客
04-30 9440
支持向量机（Support Vector Machine，SVM）是一种强大的机器学习算法，最初是用于分类问题，但后来也被扩展用于回归问题。支持向量机回归（Support Vector Regression，SVR）是一种非常有用的技术，特别适用于具有复杂特征关系的数据集。
从Logistic回归到支持向量机：SVM学习笔记
支持向量机（Support Vector Machine, SVM）是一种强大的有监督机器学习算法，尤其在分类和回归问题中表现突出。SVM的基本思想是找到一个最优的分类超平面，使两类样本点之间的间隔最大化，以此实现对未知数据的有效...
评论 13
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

坐望云起

如果觉得有用，请不吝打赏

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值