36、机器学习中的分类与类别不平衡问题解析

机器学习中的分类与类别不平衡问题解析

1. 类别不平衡问题

1.1 定义

当数据的类别分布高度不平衡时，就会出现类别不平衡问题。在这种情况下，许多分类学习算法对稀有类别的预测准确率较低。成本敏感学习是解决这一问题的常用方法。

1.2 动机与背景

在许多实际应用中，数据的类别分布往往高度不平衡。以二分类问题为例，通常将少数类或稀有类视为正类，多数类视为负类。少数类可能在数据集中占比极低，例如仅占 1%。如果使用大多数传统（对成本不敏感）的分类器处理这类数据集，它们很可能将所有样本都预测为负类（多数类），这在处理高度不平衡数据集的学习中常被视为一个问题。

然而，传统的对成本不敏感的分类器通常基于两个基本假设：一是分类器的目标是最大化准确率（或最小化错误率）；二是训练数据集和测试数据集的类别分布相同。在这两个假设下，对于高度不平衡的数据集，将所有样本预测为负类往往是正确的做法。有研究表明，在这种情况下，很难找到比这种简单分类器表现更好的方法。

因此，只有当上述两个假设中的一个或两个不成立时，类别不平衡问题才有实际意义。即当不同类型错误（二分类中的假正类和假负类）的成本不同，或者测试数据的类别分布与训练数据不同时，类别不平衡问题才需要解决。

1.3 解决方法

• 成本敏感元学习 ：当不同类型错误的成本不同时，通常将少数类（正类）样本误分类为多数类（负类）的成本要高于将多数类样本误分类为少数类的成本，即 FNcost > FPcost。给定 FNcost 和 FPcost 的值，可以使用各种成本敏感元学习方法来解决类别不平衡问