数据不平衡

最新推荐文章于 2023-02-01 23:15:00 发布

原创

最新推荐文章于 2023-02-01 23:15:00 发布 · 700 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习

数据不平衡问题在机器学习中常见，可通过采样、数据合成、加权和一分类等方法来解决。上采样可能引入过拟合，下采样可能导致信息丢失。SMOTE是一种常用的数据合成方法，而Borderline-SMOTE和ADASYN则进一步优化了新样本生成。加权方法通常设置不同权重以平衡损失。一分类方法适用于极端不平衡的情况，如使用One-class SVM进行异常检测。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在二分类中，数据不平衡是经常遇到的问题，其中又分为数据量大小问题和不平衡程度问题，两者组合的处理难度由小到大顺序为：**大数据+分布均衡<大数据不均衡<小数据+数据均衡<小数据+数据不均衡**。
对于拿到的数据，可先统计数据量，再观察分布问题。经验表明，如果每类样本中有5000以上的样本，数据量是够的。如何处理数据不平衡问题呢？

**处理数据不平衡问题的基本思路是使正负样本在训练过程中有相同的话语权，**方法如下：
一、采样（使不平衡的数据集变成平衡的数据集）
采样分为上采样与下采样。
**上采样是把小种类复制多份，**但由于一个样本在高维空间中反复出现，运气好的话会分对很多点，运气不好的话就会分错很多点。为解决这一问题，可以在每次生成新数据点时加入轻微的随机扰动，经验表明非常有效。
**下采样是把大种类中剔除一些样本，**或者说从大种类中只选取部分样本。下采样是导致信息丢失，如何减少数据丢失呢？第一种方法是EasyEnsemble，利用模型融合的方法（Ensemble），多次放回采样产生独立的训练集，进而训练不同的分类器，通过组合多个分类器的结果得到最终结果。第二种方法是BalanceCascade，利用增量训练的方法（Boosting），先通过一次下采样训练一个分类器，对于分类正确的大种样本不放回，然后在这个更小的大种样本下采样训练第二个分类器，最终组合所有分类器的结果得到最终的结果。第三种方法是利用KNN试图挑选那些最具代表性的大众样本，叫做NearMiss，这类方法计算量比较大。
二、数据合成（利用已有样本生成更多样本）
**常用的是smote方法，它利用小种样本在特征空间的相似性来生成新的样本。**对于小种样本xi∈Smin，从它属于小众类的K近邻中随机选取一个样本点x^{i，生成一个新的小众样本xnew：xnew=xi+(x}−xi)×δ，其中δ∈[0,1]是随机数。
代码如下：