【机器学习基础】第二十课：支持向量回归

【机器学习基础】系列博客为参考周志华老师的《机器学习》一书，自己所做的读书笔记。

1.支持向量回归

现在我们来考虑回归问题，给定训练样本$D=\{({\mathbf{x}}_1,y_1),({\mathbf{x}}_2,y_2),...,({\mathbf{x}}_m,y_m)\},y_i\in \mathbb{R}$，希望学得一个形如$f(\mathbf{x})={\mathbf{w}}^T\mathbf{x}+b$的回归模型，使得$f(\mathbf{x})$与$y$尽可能接近，$\mathbf{w}$和$b$是待确定的模型参数。

对样本$(\mathbf{x},y)$，传统回归模型通常直接基于模型输出$f(\mathbf{x})$与真实输出$y$之间的差别来计算损失，当且仅当$f(\mathbf{x})$与$y$完全相同时，损失才为零。与此不同，支持向量回归（Support Vector Regression，简称SVR） 假设我们能容忍$f(\mathbf{x})$与$y$之间最多有$ϵ$的偏差，即仅当$f(\mathbf{x})$与$y$之间的差别绝对值大于$ϵ$时才计算损失。如下图所示，这相当于以$f(\mathbf{x})$为中心，构建了一个宽度为$2ϵ$的间隔带，若训练样本落入此间隔带，则认为是被预测正确的：

于是，SVR问题可形式化为：

$$\underset{\mathbf{w},b}{\min }\frac{1}{2}\parallel \mathbf{w}{\parallel }^2+C\sum _{i=1}^m{\ell }_{ϵ}(f({\mathbf{x}}_i)-y_i)\text{\hspace{1em}(1)}$$

其中$C$为正则化常数，${\ell }_{ϵ}$是下图所示的 $ϵ$-不敏感损失（$ϵ$-insensitive loss） 函数：

$${\ell }_{ϵ}(z)=\{\begin{array}{l}0,if\mid z\mid ⩽ϵ;\\ \mid z\mid -ϵ,otherwise\end{array}\text{\hspace{1em}(2)}$$

引入松弛变量${\xi }_i$和${\hat{\xi }}_i$，可将式(1)重写为：

间隔带两侧的松弛程度可有所不同。

通过引入拉格朗日乘子${\mu }_i⩾0,{\hat{\mu }}_i⩾0,{\alpha }_i⩾0,{\hat{\alpha }}_i⩾0$，由拉格朗日乘子法可得到式(3)的拉格朗日函数：

$$L(\mathbf{w},b,\alpha ,\hat{\alpha },\xi ,\hat{\xi },\mu ,\hat{\mu })=\frac{1}{2}\parallel \mathbf{w}{\parallel }^2+C\sum _{i=1}^m({\xi }_i+{\hat{\xi }}_i)-\sum _{i=1}^m{\mu }_i{\xi }_i-\sum _{i=1}^m{\hat{\mu }}_i{\hat{\xi }}_i+\sum _{i=1}^m{\alpha }_i(f({\mathbf{x}}_i)-y_i-ϵ-{\xi }_i)+\sum _{i=1}^m{\hat{\alpha }}_i(y_i-f({\mathbf{x}}_i)-ϵ-{\hat{\xi }}_i)\text{\hspace{1em}(4)}$$

将$f(\mathbf{x})={\mathbf{w}}^T\mathbf{x}+b$代入，再令$L(\mathbf{w},b,\alpha ,\hat{\alpha },\xi ,\hat{\xi },\mu ,\hat{\mu })$对$\mathbf{w},b,{\xi }_i,{\hat{\xi }}_i$的偏导为零可得：

$$\mathbf{w}=\sum _{i=1}^m({\hat{\alpha }}_i-{\alpha }_i){\mathbf{x}}_i\text{\hspace{1em}(5)}$$

$$0=\sum _{i=1}^m({\hat{\alpha }}_i-{\alpha }_i)\text{\hspace{1em}(6)}$$

$$C={\alpha }_i+{\mu }_i\text{\hspace{1em}(7)}$$

$$C={\hat{\alpha }}_i+{\hat{\mu }}_i\text{\hspace{1em}(8)}$$

将式(5)-(8)代入式(4)，即可得到SVR的对偶问题：

上述过程中需满足KKT条件，即要求：

$$\{\begin{array}{c}{\alpha }_i(f({\mathbf{x}}_i)-y_i-ϵ-{\xi }_i)=0,\\ {\hat{\alpha }}_i(y_i-f({\mathbf{x}}_i)-ϵ-{\hat{\xi }}_i)=0,\\ {\alpha }_i{\hat{\alpha }}_i=0,{\xi }_i{\hat{\xi }}_i=0,\\ (C-{\alpha }_i){\xi }_i=0,(C-{\hat{\alpha }}_i){\hat{\xi }}_i=0.\end{array}\text{\hspace{1em}(10)}$$

将式(5)代入$f(\mathbf{x})={\mathbf{w}}^T\mathbf{x}+b$，则SVR的解形如：

$$f(\mathbf{x})=\sum _{i=1}^m({\hat{\alpha }}_i-{\alpha }_i){\mathbf{x}}_i^T\mathbf{x}+b\text{\hspace{1em}(11)}$$

能使式(11)中的$({\hat{\alpha }}_i-{\alpha }_i)\ne 0$的样本即为SVR的支持向量，它们必落在$ϵ$-间隔带之外。显然，SVR的支持向量仅是训练样本的一部分，即其解仍具有稀疏性。

落在$ϵ$-间隔带中的样本都满足${\alpha }_i=0$且${\hat{\alpha }}_i=0$。

原因：因为样本是落在$ϵ$-间隔带内，所以有$f({\mathbf{x}}_i)-y_i<ϵ$且$y_i-f({\mathbf{x}}_i)<ϵ$，又因为${\xi }_i⩾0,{\hat{\xi }}_i⩾0$。因此$f({\mathbf{x}}_i)-y_i-ϵ-{\xi }_i<0$且$y_i-f({\mathbf{x}}_i)-ϵ-{\hat{\xi }}_i<0$，根据式(10)，此时必须有${\alpha }_i=0$且${\hat{\alpha }}_i=0$。

由KKT条件(10)可看出，对每个样本$({\mathbf{x}}_i,y_i)$都有$(C-{\alpha }_i){\xi }_i=0$且${\alpha }_i(f({\mathbf{x}}_i)-y_i-ϵ-{\xi }_i)=0$。于是，在得到${\alpha }_i$后，若$0<{\alpha }_i<C$，则必有${\xi }_i=0$，进而有：

$$b=y_i+ϵ-\sum _{i=1}^m({\hat{\alpha }}_i-{\alpha }_i){\mathbf{x}}_i^T\mathbf{x}\text{\hspace{1em}(12)}$$

因此，在求解式(9)得到${\alpha }_i$后，理论上来说，可任意选取满足$0<{\alpha }_i<C$的样本通过式(12)求得$b$。实践中常采用一种更鲁棒的办法：选取多个（或所有）满足条件$0<{\alpha }_i<C$的样本求解$b$后取平均值。

若考虑特征映射形式$f(\mathbf{x})={\mathbf{w}}^T\varphi (\mathbf{x})+b$，则相应的，式(5)将形如：

$$\mathbf{w}=\sum _{i=1}^m({\hat{\alpha }}_i-{\alpha }_i)\varphi ({\mathbf{x}}_i)\text{\hspace{1em}(13)}$$

将式(13)代入$f(\mathbf{x})={\mathbf{w}}^T\varphi (\mathbf{x})+b$，则SVR可表示为：

$$f(\mathbf{x})=\sum _{i=1}^m({\hat{\alpha }}_i-{\alpha }_i)\kappa (\mathbf{x},{\mathbf{x}}_i)+b\text{\hspace{1em}(14)}$$

其中$\kappa ({\mathbf{x}}_i,{\mathbf{x}}_j)=\varphi ({\mathbf{x}}_i{)}^T\varphi ({\mathbf{x}}_j)$为核函数。

2.式(10)的推导

将式(3)的约束条件全部恒等变形为小于等于0的形式可得：

$$\{\begin{array}{c}f({\mathbf{x}}_i)-y_i-ϵ-{\xi }_i⩽0\\ y_i-f({\mathbf{x}}_i)-ϵ-{\hat{\xi }}_i⩽0\\ -{\xi }_i⩽0\\ -{\hat{\xi }}_i⩽0\end{array}$$

由于以上四个约束条件的拉格朗日乘子分别为${\alpha }_i,{\hat{\alpha }}_i,{\mu }_i,{\hat{\mu }}_i$，可相应转化为以下KKT条件：

$$\{\begin{array}{c}{\alpha }_i(f({\mathbf{x}}_i)-y_i-ϵ-{\xi }_i)=0\\ {\hat{\alpha }}_i(y_i-f({\mathbf{x}}_i)-ϵ-{\hat{\xi }}_i)=0\\ -{\mu }_i{\xi }_i=0\Rightarrow {\mu }_i{\xi }_i=0\\ -{\hat{\mu }}_i{\hat{\xi }}_i=0\Rightarrow {\hat{\mu }}_i{\hat{\xi }}_i=0\end{array}$$

由式(7)、式(8)可知：

$${\mu }_i=C-{\alpha }_i$$

$${\hat{\mu }}_i=C-{\hat{\alpha }}_i$$

所以上述KKT条件可以进一步变形为：

$$\{\begin{array}{c}{\alpha }_i(f({\mathbf{x}}_i)-y_i-ϵ-{\xi }_i)=0\\ {\hat{\alpha }}_i(y_i-f({\mathbf{x}}_i)-ϵ-{\hat{\xi }}_i)=0\\ (C-{\alpha }_i){\xi }_i=0\\ (C-{\hat{\alpha }}_i){\hat{\xi }}_i=0\end{array}$$

又因为样本$({\mathbf{x}}_i,y_i)$只可能处在间隔带的某一侧，那么约束条件$f({\mathbf{x}}_i)-y_i-ϵ-{\xi }_i=0$和$y_i-f({\mathbf{x}}_i)-ϵ-{\hat{\xi }}_i=0$不可能同时成立，所以${\alpha }_i$和${\hat{\alpha }}_i$中至少有一个为0，也即${\alpha }_i{\hat{\alpha }}_i=0$。在此基础上再进一步分析可知，如果${\alpha }_i=0$的话，那么根据约束$(C-{\alpha }_i){\xi }_i=0$可知此时${\xi }_i=0$；同理，如果${\hat{\alpha }}_i=0$的话，那么根据约束$(C-{\hat{\alpha }}_i){\hat{\xi }}_i=0$可知此时${\hat{\xi }}_i=0$。所以${\xi }_i$和${\hat{\xi }}_i$中也是至少有一个为0，也即${\xi }_i{\hat{\xi }}_i=0$。将${\alpha }_i{\hat{\alpha }}_i=0,{\xi }_i{\hat{\xi }}_i=0$整合进上述KKT条件中即可得到式(10)。

3.参考资料

1. 南瓜书PumpkinBook

---

想要获取最新文章推送或者私聊谈人生，请关注我的个人微信公众号：⬇️x-jeff的AI工坊⬇️

个人博客网站：https://shichaoxin.com

GitHub：https://github.com/x-jeff

---