27、不平衡分类的集成方法与单类分类算法

不平衡分类的集成方法与单类分类算法

1. 不平衡分类的Easy Ensemble方法

在处理不平衡分类问题时，Bagging集成方法是一种有效的策略。一个自然的想法是对多数类进行随机采样，以创建多个具有平衡类分布的数据集。具体来说，可以从少数类的所有示例和多数类的随机样本中创建一个数据集，然后在这个数据集上拟合一个模型或弱学习器。重复这个过程多次，并使用模型集成的平均预测来进行预测。

这种方法由Xu - Ying Liu等人在2008年的论文“Exploratory Undersampling for Class - Imbalance Learning”中提出。选择性地构建子样本被视为对多数类的一种欠采样方法。生成多个子样本可以让集成方法克服欠采样的缺点，即避免在训练过程中丢弃有价值的信息。

作者还提出了该方法的变体，如Easy Ensemble和Balance Cascade。下面我们详细了解Easy Ensemble。

1.1 Easy Ensemble算法

Easy Ensemble通过选择少数类的所有示例和多数类的一个子集来创建训练数据集的平衡样本。与使用剪枝决策树不同，它在每个子集上使用提升决策树，具体是AdaBoost算法。

AdaBoost的工作原理是，首先在数据集上拟合一个决策树，然后确定树所犯的错误，并根据这些错误对数据集中的示例进行加权，以便更多地关注误分类的示例，而较少关注正确分类的示例。然后在加权数据集上拟合后续的树，以纠正错误。这个过程会针对给定数量的决策树重复进行。

imbalanced - learn 库中的 EasyEn