机器学习超详细实践攻略(23)：三板斧干掉样本不均衡问题之3——通过集成学习方法解决样本不均衡

东写西读李老湿

墨衍会员 · AI 创作全网分发码龄13年

关注

原创最新推荐文章于 2026-03-31 03:17:33 发布 2.4k 阅读 AI 写同款· GEO 优化 ›

数据不均衡处理四：集成学习 集成学习方法在处理数据不均衡问题时通常能取得较好的效果，可以提高模型的泛化能力和对少数类样本的识别能力。阅读详情

在这里插入图片描述

一、原理

本文是处理样本不均衡的第三种方法。思路也很简单：从样本量比较多的类别中随机抽取一定数量的样本，与样本量比较小的类别组合在一块儿训练模型。这样会训练出好几个模型，最后在应用时，使用组合的方法（例如投票、加权投票等）产生分类预测结果。例如，若数据集中的正、负样本的比例为1:10。此时可以将负样本随机分为10份（或者每次随机抽取和正样本相同数量的负样本），然后和所有的正样本组成训练集。这样可以得到10个训练集，分别输入模型之后就可以得到10个训练模型。

这种方式其实借鉴了集成学习中的bagging思想，随机森林就是决策时基于这种思想组合而成的。但是因为这种方法要分别训练多个模型，所以耗时比较长。如果等得起，相对于单一模型绝对可以得到一个更好的提升。

小时候看《西游记》，太上老君的炼丹炉里，炼了九九八十一天的仙丹，绝对会比练了七七四十九天的仙丹有更厉害的功效，果然小说来源于生活。

二、实现

在scikit-learn中，有一个BaggingClassifier类，专门用来实现Bagging思想。只是这个包只能对正负样本等比例采样，也就是采样后的正负类别比例和原来数据集正负样本比例是相同，并没有实现我们使采样后正负样本趋于平衡的目的。可喜可贺的是，imblearn包也基于scikit-learn实现了随机森林算法，而且加了一个sampling_strategy参数，来控制自定义采样后正负样本比例，sampling_strategy参数可选参数如下：

浮点数：该数值 = 采样之后的少数类样本数/多数类样本数。需要注意的是，浮点数只能应用在二分类问题中。
’majority’: 只对数量较多的类别进行重新采样
’not minority’: 对除数量较少的类以外的所有类重新采样
’not majority’: 对除数量较多的类以外的所有类重新采样
’all’: 重采样所有类别，类似于scikit-learn中的
’auto’: 和 'not minority’效果相同，也是这个参数的默认值
字典形式：形式为：{类别1:个数1,类别2:个数2}

特别提醒一句：安装这个包使用以下语句：pip install imbalanced-learn，而导入这个包只需要：import imblearn即可。

我们对比一下不加处理的随机森林算法和采样时注重数据集均衡的情况下模型的表现。

1）导入相关的包和生成数据集

from imblearn.ensemble import BalancedRandomForestClassifier #导入imblearn中随机森林包
from sklearn.ensemble import RandomForestClassifier #导入sklearn中的随机森林包
from sklearn.model_selection import train_test_split
from sklearn.metrics import recall_score
import numpy as np
############################ 生成不均衡的分类数据集###########
from sklearn import datasets
X,Y = datasets.make_classification(n_samples = 10000,
                                   n_features = 4,
                                   n_classes = 2,
                                   weights = [0.95,0.05])

train_x,test_x,train_y,test_y = train_test_split(X,Y,test_size=0.1,random_state=0)

这里，我们生成了数据集大小为10000的数据集。

2）sklearn包中的随机森林算法训练模型

###############随机森林实现##################
from sklearn.ensemble import RandomForestClassifier 
RF = RandomForestClassifier(random_state = 66,
                            n_estimators = 100)

RF.fit(train_x, train_y)
y_pred1 = RF.predict(test_x)

print('召回率: ',recall_score(test_y, y_pred1))

输出：

召回率: 0.625

3）imblearn包中的随机森林算法训练模型

eec = EasyEnsembleClassifier(random_state = 66,sampling_strategy = 'not minority',n_estimators = 100)
eec.fit(train_x, train_y) # 

y_pred = eec.predict(test_x)
print('召回率: ',recall_score(test_y, y_pred))