86、密度水平集的 p-范数多核学习：高效准确的分类新方法

密度水平集的 p-范数多核学习：高效准确的分类新方法

在机器学习领域，分类问题一直是研究的核心之一。其中，单类分类问题旨在找到一个模型和密度水平集，能够很好地泛化到新的、未见过的数据上，将正常数据包围在水平集内，而异常数据则在水平集之外。本文将介绍一种用于密度水平集估计的多核学习方法，该方法允许对核混合使用任意范数，从而研究稀疏和非稀疏核混合。

1. 密度水平集与单类 SVM

• 单类分类问题 ：给定 $n$ 个数据点 $x_1, \ldots, x_n$，目标是找到一个模型 $f: X \to R$ 和密度水平集 $D_{\rho} = {x: f(x) \geq \rho}$，使得水平集包围正常数据，异常数据不在水平集内。常见的方法是使用线性模型 $f(x) = w’\psi(x)$，其中 $\psi: X \to H$ 是（可能非线性的）特征映射。
• 最大间隔方法 ：通过最大间隔方法得到单类 SVM 的优化问题：
• 对于 $\nu \in ]0, 1]$，最小化 $\frac{1}{2}w’w + \frac{1}{\nu n}|\xi|_1 - \rho$。
• 约束条件为 $\forall i: w’\psi(x_i) \geq \rho - \xi_i$，$\forall i: \xi_i \geq 0$。
• 找到最优参数 $w^ $ 和 $\rho^ $ 后，将其代入 $f(x)$，根据 $sign(f(\tilde{x}) - \rho^*)$ 对新实例 $\tilde{x}$ 进行分类。 <