（系列笔记）13.SVR模型

最新推荐文章于 2025-06-02 14:55:18 发布

WNotSyer

最新推荐文章于 2025-06-02 14:55:18 发布

阅读量5.7w

点赞数 45

CC 4.0 BY-SA版权

分类专栏： Machine Learning

本文链接：https://blog.youkuaiyun.com/qq_41909317/article/details/88542892

支持向量回归（SVR）是一种不同于传统线性回归的模型，它通过在预测值周围创建一个容忍区域，只计算超出该区域的样本误差。SVR通过最小化间隔带宽度和总损失来优化模型，利用支持向量确定线性模型参数，并可以通过核技巧进行非线性映射。SMO算法用于解决SVR的对偶问题，寻找最优支持向量。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

SVR——一种“宽容的回归模型”

严格的线性回归

线性回归：在向量空间里用线性函数去拟合样本。该模型以所有样本实际位置到该线性函数的综合距离为损失，通过最小化损失来求取线性函数的参数。对于线性回归而言，一个样本只要不算正好落在作为模型的线性函数上，就要被计算损失。

宽容的支持向量回归（SVR）

介绍一种“宽容的”回归模型：支持向量回归(Support Vector Regression，SVR)

模型函数

支持向量回归模型的模型函数也是一个线性函数： $y = w x + b$ ，但是和线性回归是两个不同的回归模型！
不同点在于：计算损失的原则不同，目标函数和最优化算法也不同。

原理

SVR在线性函数两侧制造了一个“间隔带”，对于所有落入到间隔带内的样本，都不计算损失；只有间隔带之外的，才计入损失函数。之后再通过最小化间隔带的宽度与总损失来最优化模型。如下图这样，只有那些圈了红圈的样本（或在隔离带边缘之外，或落在隔离带边缘上），才被计入最后的损失：
在这里插入图片描述

SVR的两个松弛变量

有一点和SVM是正好相反的：SVR希望样本点都落在“隔离带”内，而SVM希望样本点都在“隔离带”外。这导致SVR要同时引入两个松弛变量： $ξ\xi$ 和 $ξ∗\xi^*$

上图显示了SVR的基本情况：

$f (x) = w x + b$ 是我们最终要求得的模型函数；
$wx+b+ϵwx+b+\epsilon$ $wx+b−ϵwx+b-\epsilon$ （也就是 $f(x)+ϵf(x)+\epsilon$ 和 $f(x)−ϵf(x)-\epsilon$ ）是隔离带的上下边缘；
$ξ∗\xi^*$ 是隔离带下边缘之下样本点，到隔离带下边缘上的投影，与该样本点 $y$ 值的差。

公式表述：
在这里插入图片描述
对于任意样本 $x_i$ ，如果它在隔离带里面或者隔离带边缘上，则 $ξ\xi$ 和 $ξ∗\xi^*$ 都为0；如果它在隔离带上边缘上方，则 $ξ>0\xi>0$ , $ξ∗\xi^*$ =0；如果它在隔离带下边缘下方，则 $ξ=0\xi=0$ , $ξ∗0\xi^*0$ ；