在机器学习实践中,通常会遇到数据中正负样本不平衡(数据倾斜)的情况,如果选取的算法不合适,或者评价指标不合适,那么实际应用线上时效果往往不尽人意。
如何解决样本不平衡问题?可以从几个方面入手:
1、数据层面,可以欠采样和过采样,smote合成新样本
2、模型层面,可以使用代价敏感学习(指为不同类别的样本提供不同的权重)或者转换成one class问题(因为只有一个类别的样本,训练出一个最小的超球面,将这些样本全部包起来;新样本如果落在超球面内,就属于这个类,否则属于异常样本)
3、评价方面,选用合理的指标,比如少数类的召回率、auc等
4、一个合理且简单的方法是:采用随机森林等集成算法降低过拟合风险,然后调整分类阈值规避采样问题,再选用合理的评价指标防止偏见。
如何解决样本不平衡
于 2021-03-11 01:27:10 首次发布