单类支持向量机（One-Class SVM）

假如现在有 $\ell$ 个同一分布的观察数据，每条数据都有 $p$ 个特征。如果现在加入一个或多个观察数据，那么是否这些数据与原有的数据十分不同，甚至我们可以怀疑其是否属于同一分布呢？反过来讲，是否这些数据与原有的数据十分相似，我们无法将其区分呢？这便是异常检测工具和方法需要解决的问题。即现在只有正常的数据，那么当异常数据加入时，我们是否可以将其分辨出来呢？

通常情况下，要学习训练出一个在 $p$ 维空间上的粗糙封闭的边界线，来分割出初始观测分布的轮廓线。然后，如果观测数据位于边界限定的子空间内，则认为它们来自与初始观测相同的总体。否则，如果他们在边界之外，我们可以在一定程度上说他们是异常的。

OCSVM

一种实现方法是 One-Class SVM （OCSVM），首次是在论文《Support Vector Method for Novelty Detection》中由 Bernhard Schölkopf 等人在 2000 年提出， 其与 SVM 的原理类似，更像是将零点作为负样本点，其他数据作为正样本点，来训练支持向量机。策略是将数据映射到与内核相对应的特征空间，在数据与原点间构建超平面，该超平面与原点呈最大距离。

现在假设该超平面为：

$$w\cdot \Phi (\mathbf{x})-\rho =0$$

目标就是在分类正确的基础上最大化超平面与原点的距离：

$$\begin{array}{cc}\underset{w\in F,\rho \in \mathbb{R}}{\max }& |\rho |/\Vert w{\Vert }^2\\ \text{ subject to }& \left(w\cdot \Phi \left({\mathbf{x}}_i\right)\right)\ge \rho \end{array}$$

同时根据超平面的定义，实际上 $\rho$ 的正负和 $w$ 向量中的元素正负同时调整就不会影响超平面，那么假如 $\rho >0$ ，那么优化问题可以重写为：

$$\underset{w\in F,\rho \in \mathbb{R}}{\max }\rho /\Vert w{\Vert }^2$$

为了防止参数求解的耦合问题，可以将其拆解为

$$\begin{array}{r}\underset{w\in F,\rho \in \mathbb{R}}{\max }\rho +1/\Vert w{\Vert }^2\\ \underset{w\in F,\rho \in \mathbb{R}}{\min }-\rho +\Vert w{\Vert }^2\end{array}$$

这样的话在求解问题时，由于 $w$ 向量中元素的整体正负不会影响 $\Vert w{\Vert }^2$ 的取值，那么其会保证 $\rho$ 的最终取值为正值，也就是满足假设。同时为了方便梯度求解，将 $\Vert w{\Vert }^2$ 添加一个 $\frac{1}{2}$ 那么最终的优化目标可以写为：

$$\begin{array}{cc}\underset{w\in F,\rho \in \mathbb{R}}{\min }& -\rho +\frac{1}{2}\Vert w{\Vert }^2\\ \text{ subject to }& \left(w\cdot \Phi \left({\mathbf{x}}_i\right)\right)\ge \rho \end{array}$$

从另一方面想，实际上对于一个斜率一定的直线，当其偏移量的绝对值越大时，其离零点越来越近，下面以 $w\ast x-b=0$ 为例，当 w 确定时，$|b|$ 越大，直线离原点越远：

加入松弛变量 $\xi$ 后，其优化的目标函数可以写为：

$$\begin{array}{cc}\underset{w\in F,\mathbf{\xi }\in {\mathbb{R}}^{\ell },\rho \in \mathbb{R}}{\min }& \frac{1}{2}\Vert w{\Vert }^2+\frac{1}{\nu \ell }{\sum }_i{\xi }_i-\rho \\ \text{ subject to }& \left(w\cdot \Phi \left({\mathbf{x}}_i\right)\right)\ge \rho -{\xi }_i,{\xi }_i\ge 0\end{array}$$

其中 $v\in (0,1)$ 用于调节松弛程度，根据该目标函数进行优化求解得到 $w$ 和 $\rho$ 后，对多部分样本来说，其决策函数 $f(\mathbf{x})=\mathrm{sgn}((w\cdot \Phi (\mathbf{x}))-\rho )$ 输出为正。

为了求解对偶问题使用核技巧，这里使用 Lagrange 乘数 ${\alpha }_i,{\beta }_i$，可以写出拉格朗日方程：

$$\begin{array}{rl}L(w,\mathbf{\xi },\rho ,\mathbf{\alpha },\mathbf{\beta })=& \frac{1}{2}\Vert w{\Vert }^2+\frac{1}{v\ell }\sum _i{\xi }_i-\rho \\ & -\sum _i{\alpha }_i\left(\left(w\cdot \Phi \left({\mathbf{x}}_i\right)\right)-\rho +{\xi }_i\right)-\sum _i{\mathbf{\beta }}_i{\xi }_i\end{array}$$

那么根据对参数 $w,\xi ,\rho$ 求偏导，可以写出部分 KKT条件：

$$\begin{array}{rl}w& =\sum _i{\alpha }_i\Phi \left({\mathbf{x}}_i\right)\\ {\alpha }_i& =\frac{1}{v\ell }-{\mathbf{\beta }}_i\le \frac{1}{v\ell },\sum _i{\alpha }_i=1\end{array}$$

那么通过导出对偶问题和使用核技巧，便可以实现通过支持向量 {xi:i∈[ℓ],αi>0}\left\{ \mathbf { x } _ { i } : i \in [ \ell ] , \alpha _ { i } > 0 \right\}{xi​:i∈[ℓ],αi​>0} 求得决策函数：

$$f(\mathbf{x})=\mathrm{sgn}\left(\sum _i{\alpha }_{i}k\left({\mathbf{x}}_i,\mathbf{x}\right)-\rho \right)$$

现在也可以写出对偶问题了：

$$\underset{\mathbf{\alpha }}{\min }\frac{1}{2}\sum _{ij}{\alpha }_i{\alpha }_{j}k\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)\text{ subject to }0\le {\alpha }_i\le \frac{1}{\nu \ell },\sum _i{\alpha }_i=1$$

之后使用二次规划求解器求解 $\alpha$ 即可，然后再根据 KKT 条件求出 $w,\rho$，那么问题来了，数据跨越了零点怎么办？ 做法很简单，使用映射函数将数据映射到一个空间，在该空间上数据不横跨原点，比如使用高斯核（$\Phi (x)=\exp \left(-x^2\right)\cdot \left(1,\sqrt{\frac{2}{1!}}x,\sqrt{\frac{2^2}{2!}}{x}^2,\dots \right)$）或二阶多项式核（${\Phi }_2(\mathbf{x})=\left(1,x_1,x_2,\dots ,x_d,x_1^2,x_1{x}_2,\dots ,x_1{x}_d,x_2{x}_1,x_2^2,\dots ,x_2{x}_d,\dots ,x_d^2\right)$），可以看出其中有很多的恒非负数项，也就是在一个轴的一边，不会横跨原点。但是这都是博主的猜测，如果有读者看到论文的讲解部分可以留言纠正（英语水平有限🤷‍♂️）。

SVDD

另一种方法则是 SVDD，是在其同名论文《Support Vector Data Description》中由 DAVID M.J. TAX 等人提出。相比于 OCSVM，SVDD 定义了一个模型，该模型给出了一个包围全部数据的封闭边界：超球体。球体的特征是中心 $a$ 和半径 $R>0$。我们通过最小化 $R^2$ 来最小化球体的体积，并要求球体包含所有训练样本 $x_i$。这与Schólkopf、Burges和Vapnik（1995）中用于估计分类器的VC维数的方法（由包围数据的最小球体的直径限定）相同。并且文章中证明了该方法与 OCSVM 求解的超平面相似。其最优化目标如下：

$$\begin{array}{rl}\underset{R,a}{\min }& R^2+C\sum _i{\xi }_i\\ s.t.& {\Vert {\mathbf{x}}_i-\mathbf{a}\Vert }^2\le R^2+{\xi }_i,{\xi }_i\ge 0\forall i\end{array}$$

其中 $C$ 用于控制误差的容忍度。同时为了求解对偶问题使用核技巧，这里使用 Lagrange 乘数 ${\alpha }_i>0,{\gamma }_i>0$，可以写出拉格朗日方程：

$$\begin{array}{rl}L\left(R,\mathbf{a},{\alpha }_i,{\gamma }_i,{\xi }_i\right)=& R^2+C\sum _i{\xi }_i\\ & -\sum _i{\alpha }_i\left\{R^2+{\xi }_i-\left({\Vert {\mathbf{x}}_i\Vert }^2-2\mathbf{a}\cdot {\mathbf{x}}_i+\Vert \mathbf{a}{\Vert }^2\right)\right\}-\sum {\gamma }_i{\xi }_i\end{array}$$

求偏导为零，可以得出：

$$\begin{array}{rl}\frac{\partial L}{\partial R}=0:& \sum _i{\alpha }_i=1\\ \frac{\partial L}{\partial \mathbf{a}}=0:& \mathbf{a}=\frac{{\sum }_i{\alpha }_i{\mathbf{x}}_i}{{\sum }_i{\alpha }_i}=\sum _i{\alpha }_i{\mathbf{x}}_i\\ \frac{\partial L}{\partial {\xi }_i}=0:& C-{\alpha }_i-{\gamma }_i=0\end{array}$$

通过上述第三个式子可以得出：

$$0\le {\alpha }_i\le C$$

拉格朗日方程可以重写为：

$$L=\sum _i{\alpha }_i\left({\mathbf{x}}_i\cdot {\mathbf{x}}_i\right)-\sum _{i,j}{\alpha }_i{\alpha }_j\left({\mathbf{x}}_i\cdot {\mathbf{x}}_j\right)$$

那么该优化目标可以重写为：

$$\underset{\mathbf{\alpha }}{\max }\sum _i{\alpha }_i\left({\mathbf{x}}_i\cdot {\mathbf{x}}_i\right)-\sum _{i,j}{\alpha }_i{\alpha }_j\left({\mathbf{x}}_i\cdot {\mathbf{x}}_j\right)\text{ subject to }0\le {\alpha }_i\le C$$

之后使用二次规划求解器求解 $\alpha$ 即可，然后再根据 KKT 条件求出 $R,a,\xi$ 即可。

参考论文有：《Support Vector Data Description》，《Support Vector Method for Novelty Detection》，《Estimating the Support of a High-Dimensional Distribution》