25、处理不平衡数据集与降维技术研究

处理不平衡数据集与降维技术研究

在数据处理和模式识别领域，不平衡数据集的处理以及高维数据的降维是两个重要的研究方向。下面将详细介绍一种处理不平衡数据集的混合方法，以及一种用于降维的非线性嵌入映射投影方法。

处理不平衡数据集的混合方法

处理不平衡训练集的传统方法往往在提高几何平均准确率的同时损害了全局准确率。为了克服这一缺点，提出了一种将原始不平衡分类器（IC）的可靠性和标签与专家混合系统（MES）的决策相结合的方法，即基于可靠性的平衡（RbB）方法。

可靠性估计

利用分类器输出的信息可以正确估计每个分类行为决策的可靠性。可靠性考虑了影响正确分类的诸多因素，如样本域的噪声、待识别对象与训练分类器所用对象之间的差异等。分配给样本 x 的可靠性 φ(x) 通常在 [0, 1] 范围内变化。φ(x) 接近 0 意味着分配给 x 的明确标签可能是错误的；而 φ(x) 接近 1 则表示识别系统更有可能提供正确的分类。

RbB 方法

原始的不平衡分类器（IC）由于使用偏向负类的训练集（TS）进行训练，往往会将测试实例分类为负类，此时误分类主要影响少数类实例。因此，可以合理假设 IC 对少数类样本的标记可靠性较低。然而，仅靠低可靠性这一标准不足以将样本标记为正类，因为多数类实例也可能测量到低可靠性。

先前的研究表明，在原始 TS 的平衡子集上训练的 MES 比 IC 更能识别少数类模式。基于这些观察，RbB 方法的工作方式如下：当 IC 对样本 x 的决策可靠性较低时，使用 MES 提供的标签对 x 进行分类；否则，将 x 分配给 IC 给出的类。用公式表示为：
[
O(x) =