类别不平衡问题

一、概念

类别不平衡就是指分类任务中不同类别的训练样例数目差别很大。

二、解决问题的基本方法（假设正类样例较少）

1、对反类样例进行“欠采样”：

        若随机丢弃反例，可能丢失一些重要信息；其代表性算法EasyEnsemble[Liu et al.,2009]则是 利用集成学习机制，将反例划分为若干个集合供不同学习器使用，这样对每个学习器来看都进行了欠采样，但在全局来看却不会  丢失重要信息。

2、对正类样例进行“过采样”：

        不能简单地对初始正例样本进行重复采样，否则会招致严重的过拟合；其代表性算法SMOTE[Chawla et al.,2002]是通过对训练集里的正例进行插值来产生额外的正例。

3、“阈值移动”：

        将分类阈值设定为

                                                    y'/1-y'=y/1-y×m-/m+（代价敏感学习中用cost+/cost-）

        cost+是将正例误分为反例的代价，cost-是将反例误分为正例的代价。

摘自，周志华《机器学习》