吃瓜任务5

支持向量机算法原理

从几何角度，对于线性可分数据集，支持向量机就是找距离正负样本都最远的超平面，相比于感知机，其解是唯一的，并且不偏不倚，泛化性能更好。

给定线性可分数据集$X$，支持向量机希望求得数据集$X$关于超平面的几何间隔$\gamma$达到最大的那个超平面，所以其本质和感知机一样，仍然是求一个超平面。

策略：给定线性可分数据集$X$，设$X$中几何间隔最小的样本为$({\mathbf{x}}_{min},y_{min})$，那么支持向量机求超平面的过程可以转化为求带约束条件的优化问题。
$$\begin{gathered} \underset{\mathbf{w},b}{\max }\frac{y_{min}({\mathbf{w}}^T{\mathbf{x}}_{min}+b)}{\Vert \mathbf{w}\Vert } \\ s.t.y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\ge y_{min}({\mathbf{w}}^T{\mathbf{x}}_{min}+b),i=1,2,\dots ,m \end{gathered}$$

需要对$\mathbf{w},b$做一定的限制才能使上述优化问题有可解的唯一解。
不妨令
$$y_{min}({\mathbf{w}}^T{\mathbf{x}}_{min}+b)=1$$
则上述优化问题转化为
$$\begin{gathered} \underset{\mathbf{w},b}{\max }\frac{1}{\Vert \mathbf{w}\Vert } \\ s.t.y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\ge 1,i=1,2,\dots ,m \end{gathered}$$
进一步可转化为
$$\begin{gathered} \underset{\mathbf{w},b}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2 \\ s.t.1-y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\le 0,i=1,2,\dots ,m \end{gathered}$$
拉格朗日函数：
$$L(\mathbf{w},b,\alpha )=\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+\sum _{i=1}^m{\alpha }_i(1-y_i({\mathbf{w}}^T{\mathbf{x}}_i+b))$$
转化为对偶问题：
$$\begin{gathered} \underset{\alpha }{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{\mathbf{x}}_i^T{\mathbf{x}}_i \\ s.t.\alpha \ge 0 \\ \sum _{i=1}^m{\alpha }_i{y}_i=0 \end{gathered}$$
根据强对偶性成立的KKT条件：
$$\begin{array}{r}{\alpha }_i\ge 0\\ y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)-1\ge 0\\ {\alpha }_i(y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)-1)=0\end{array}$$

支持向量机通常采用拉格朗日对偶求解的原因：

• 无论原问题是何种优化问题，对偶问题恒为凸优化问题，更容易求解（尽管支持向量机的原问题就是凸优化问题）
• 原问题的时间复杂度与特征维数成正比，对偶问题的时间复杂度和数据量成正比，当特征维数远高于数据量时，拉格朗日对偶求解效率更高
• 对偶问题能很自然地引入核函数，进而推广到非线性分类问题（最主要的原因）

软间隔算法原理

在现实任务中，线性不可分的情形才是最常见的，因此需要允许支持向量机犯错。
从数学角度来说，软间隔就是允许部分样本（但要尽可能少）不满足下式的约束条件
$$\begin{gathered} \underset{\mathbf{w},b}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2 \\ s.t.1-y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\le 0,i=1,2,\dots ,m \end{gathered}$$
因此，可以将约束条件转化为具有一定灵活性的损失，合格的损失函数要求如下：

• 当满足约束条件时，损失为0
• 当不满足约束条件时，损失不为0
• 当不满足约束条件时，损失与其违反约束条件的程度成正比（可选）

只有满足以上要求，才能保证在最小化损失的过程中，确保不满足约束条件的样本尽可能少。

$$\underset{\mathbf{w},b}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+C\sum _{i=1}^m{\ell }_{0/1}(y_i({\mathbf{w}}^T{\mathbf{x}}_i+b-1)$$
${\ell }_{0/1}$是0/1损失函数。
$${\ell }_{0/1}(z)=\{\begin{array}{l}1,\mathrm{i}\mathrm{f}z<0\\ 0,\mathrm{i}\mathrm{f}z\ge 0\end{array}$$
$C$是一个大于0的常数，用来调节损失的权重。

由于${\ell }_{0/1}$非凸非连续，使得优化问题不好解，通常采用hinge（合页）损失来替代${\ell }_{0/1}$。
hinge损失：
$${\ell }_{hinge}(z)=\max (0,1-z)$$
引入松弛变量${\xi }_i$，上述问题等价为
$$\begin{gathered} \underset{\mathbf{w},b,{\xi }_i}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+C\sum _{i=1}^m{\xi }_i \\ s.t.y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\ge 1-{\xi }_i \\ {\xi }_i\ge 0,i=1,2,\dots ,m \end{gathered}$$

支持向量回归

相比于线性回归用一条线拟合训练样本，支持向量回归（SVR）采用一个以$f(\mathbf{x})={\mathbf{w}}^T\mathbf{x}+b$为中心，宽度为$2ϵ$的间隔带来拟合训练样本。

SVR的优化问题可以写为：
$$\underset{\mathbf{w},b}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+C\sum _{i=1}^m{\ell }_{ϵ}(f({\mathbf{x}}_i)-y_i)$$
其中${\ell }_{ϵ}(z)$为$ϵ$不敏感损失函数
$${\ell }_{ϵ}(z)=\{\begin{array}{l}0,\mathrm{i}\mathrm{f}|z|\le ϵ\\ |z|-ϵ,\mathrm{i}\mathrm{f}z>ϵ\end{array}$$
$\frac{1}{2}\Vert \mathbf{w}{\Vert }^2$为L2正则项，引入正则项除了起正则项本身的作用外，也是为了和软间隔支持向量机的优化目标保持形式上的一致，这样就可以导出对偶问题引入核函数。

与软间隔支持向量机类似，SVR优化问题可以表示为：
$$\begin{gathered} \underset{\mathbf{w},b,{\xi }_i}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+C\sum _{i=1}^m{\xi }_i \\ s.t.-ϵ-{\xi }_i\le f({\mathbf{x}}_i)-y_i\le ϵ+{\xi }_i \\ {\xi }_i\ge 0,i=1,2,\dots ,m \end{gathered}$$

如果考虑两边采用不同的松弛程度：
$$\begin{gathered} \underset{\mathbf{w},b,{\xi }_i,{\hat{\xi }}_i}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+C\sum _{i=1}^m({\xi }_i+{\hat{\xi }}_i) \\ s.t.-ϵ-{\hat{\xi }}_i\le f({\mathbf{x}}_i)-y_i\le ϵ+{\xi }_i \\ {\xi }_i\ge 0,{\hat{\xi }}_i\ge 0,i=1,2,\dots ,m \end{gathered}$$

参考文献：

• 《机器学习》周志华著 清华大学出版社
• Datawhale开源学习课程https://datawhale.feishu.cn/docs/doccndJC2sbSfdziNcahCYCx70W