解决不均匀样本下的分类

原创 已于 2023-03-22 14:32:01 修改 · 3.2k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#data #mechine learning #preprocess

于 2019-06-29 20:22:14 首次发布
AuthorTime
Wu_b2019.6.29

在不均匀样本下训练分类器，容易造成分类器将样本直接判别为大样本，从而降低损失，没有动力继续优化参数。针对这个问题，可以由以下几个方法进行优化：

  • 随机采样+集成学习相结合
  • 修改大小样本在计算loss时的权重
  • 欠采样
  • 过采样
  • 综合采样

1 随机采样+集成学习

这个是在面试过程中想到的，不过考虑到其不稳定性就没说出来了。

1.1 算法

这里主要是参考了随机森林的基本思想，基本步骤如下：

  • 首先针对大样本，进行部分数据的放回随机采样，形成多个与小样本数量相同的子样本（按照题目是500个）。
  • 将这多个子样本与小样本进行组合，并作为分类器的不同训练集，形成多个子分类器
  • 利用集成学习的方法，通过投票法对多个子分类器的输出进行整合，最后将票数最高的结果作为分类器的最终输出
1.2 存在问题
  • 尽管该方法是最简单的，但是由于对大样本进行随机抽样，容易丢失部分原来大样本的数据信息
  • 如果采用的是对于小样本进行随机抽样，那么由于重复的样本数过多容易造成过拟合
1.3 改进方法

采用BalanceCascade，即在上述放回随机采样的基础上进行修改

  • 同样通过放回随机采样得到一个子样本，并通过该子样本训练第一个子分类器
  • 将第一个子分类器分类错误的样本放回
  • 重复以上两个步骤，直到达到一定的分类器数量或其他的停止条件

2 修改大小样本在计算loss时的权重

不过这种方法主要是对于算法的内容进行了修改，而不是题目中数据预处理

2.1 算法

这里主要是对于训练中loss的计算公式进行了更改，增大小样本计算loss的权重，减小大样本计算loss的权重，最直接的方法就是直接将权重值设为所对应样本数量的倒数。

像常见计算loss的方法，如交叉熵，可以直接加上样本数量的倒数作为权重

2.2 存在问题
  • 这里其实不是对于样本数据进行预处理，而是对于算法的loss进行加权计算
  • 对于权重的设置问题，样本数量的倒数是比较简单的操作，但是合理性仍需要进一步的验证。因此寻找一个合理的权重是一个大问题。
2.3 类似方法

同样也是非数据预处理的做法，通过修改分类判别的阈值来实现，如小样本的概率阈值可根据样本的占比相应下调，而不是原有的0.5：0.5

3 欠采样

3.1 Near-miss算法

这里欠采样主要有以下四种方法：

  • Near-miss-1：选择到最近的三个样本平均距离最小的多数类样本（500个）
  • Near-miss-2：选择到最远的三个样本平均距离最小的多数类样本（500个）
  • Near-miss-3：为每个少数类样本选择给定数目的最近多数类样本（500个）
  • 最远距离：选择到最近的三个样本平均距离最大的多样类样本（500个）
3.1.1 存在的问题
  • 总体而言，以上四种方法的计算量偏大
  • Near-miss-1由于是参考的是最近的三个样本的距离，是局部的，容易收到离群点的影响
3.1.2 评估

  • 总体而言，Near-miss-2的效果是最好的，这一点在下述文章中有提到

    Haibo He, Member, IEEE, and Edwardo A. Garcia. Learning from Imbalanced Data

3.2 Tomek links方法
3.2.1 算法

对于属于不同样本的两个点x，y，我们找不到第三个点z，使得z到x的距离或者到y的距离，小于x和y之间的距离。这样的xy就形成了一个Tomek link，欠采样即将每一个Tomek link中属于多样类的样本抛弃。

3.2.2 评估
  • 首先，计算量还是比较大
  • 其次，清除的数据数量有限。按照目前9000，500，500的数据量，最多只能清除1000个多样类的样本。
3.3 ENN算法
3.3.1 算法

基于knn算法，对于多样类样本中的每个点，如果k个最近邻的点一半都是另外的类，则将该数据抛弃（或者k个最近邻的点全部都是另外的类）

3.3.2评估
  • 首先还是计算量偏大，需要遍历多样类样本中的每一个点
  • 其次是清除的数据量有限，针对本次题目中18：1：1的数据比例，很难将大样本的数据所占比例下降到合适的范围

4 过采样

这里我们针对于两个只有500数据量的小样本类进行数据的人工合成

4.1 SMOTE算法
4.1.1算法
  • 首先针对两个小样本类中的每一个样本x寻找k个最近邻
  • 根据样本分布的比例，从k个最近邻中随机选择n个样本y（这里n根据题目，选择9000/500=18）
  • 新样本z = x + a*（y-x），这里a从0-1的均匀分布中随机取值
4.1.2 评估
  • 计算量比较大
  • 增强了小样类样本在整体样本中的占比
  • 容易增加类之间的重叠性，模糊了正负类边界（尤其是处于多样类样本中的少样类）
  • 产生的新样本很可能是一些没有提供信息的样本
4.2 Border-line SMOTE算法
4.2.1算法

针对SMOTE算法的不足而进行完善的一种新算法。

  • 首先将少样类样本进行分类
    • k近邻都是多样类，则为噪声，不用于生成样本
    • k近邻一半以上是少样类，安全点，不用于生成样本
    • k近邻一半以上是多样类，危险点，用于生成样本
  • 将上述的安全点利用上述SMOTE算法一样生成新样本
4.2.2 评估
  • 计算量比较大
  • 可以加强处模糊样本的存在感
4.3 ADASYN算法
4.3.1算法

ADASYN是一种自适应综合采样的方法：

  • 根据最后样本平衡度需求，计算需要的样本数G
  • 计算每个小样类样本K近邻中大样本的比例r
  • 计算每个小样本的r在所有小样本类r和的比例：R = r/sum®
  • 得到每个小样类样本需要得到G*R个样本
  • 在每个小样类样本x周围k个邻居选择一个小众样本y，利用线性插值法x_new = x+a*（y-x）,a为0-1均匀分布随机采样得到
4.3.2 评估
  • 计算量大
  • 不能抵抗噪声的干扰
4.4 KM-SMOTE算法
4.4.1算法

将K-means聚类和SMOTE相结合：

  • 选择小样本类进行K-means聚类，聚成K类，并记录每一类的簇心c
  • 对于每一类中，利用簇心和每一个原始数据x进行插值：x_new = c + (c-x)*rand(0,1)
4.4.2 评估
  • 不会出现泛边界的数据

5 综合采样

综合采样主要是将对于小样本类的过采样和对于多样本类的欠采样结合起来，主要有：

  • SMOTE+Tomek links
  • SMOTE+ENN

这样既增加了小众样本的数量，且减少了不同类别之间的样本重叠

6 总结

上述方法主要是分成五大块，分别是随机抽样+集成学习、loss惩罚函数的权重调动、欠采样、过采样、综合采样五种。分别对应从简单到复杂，其性能也随着计算量的增大而增大。

根据本次的需求看来，可能选择针对于少样类的欠采样，或使用综合采样比较好。

7 参考

imbalanced-learn库

机器学习笔记 - 使用SMOTE和Near Miss算法处理不平衡数据
学以致用 知行合一
04-05 5895
在机器学习和数据科学中，我们经常遇到一个称为不平衡数据分布的术语，通常发生在其中一个类中的观察值远高于或低于其他类时。由于机器学习算法倾向于通过减少误差来提高准确性，因此它们不考虑类分布。这个问题在欺诈检测、异常检测、面部识别等示例中很普遍。 决策树和逻辑回归等标准 ML 技术偏向于多数类，并且倾向于忽略少数类。他们倾向于只预测多数类别，因此，与多数类别相比，少数类别存在重大错误分类。用更专业的术语来说，如果我们的数据集中的数据分布不平衡，那么我们的模型更容易出现少数类的召回率可以忽略不......
Python实现使用imbalanced-learn库中的NearMiss算法解决数据不平衡问题
qq_37934722的博客
04-23 477
它提供了一些处理数据不平衡问题的经典算法，包括上采样、下采样和集成方法等。其中，NearMiss算法是一种经典的下采样算法，其主要思路是选择距离负类最近的正类样本进行下采样。本文将介绍如何使用imbalanced-learn库中的NearMiss算法进行下采样处理数据不平衡问题。综上所述，使用imbalanced-learn库中的NearMiss算法可以有效解决数据不平衡问题。当然，在实际应用中，我们还需要根据具体情况选择适当的采样方法以及参数设置，才能获得更好的效果。这里我们选择NearMiss-1。
分类问题：如何解决样本分布不均衡
qq_51174011的博客
03-09 3196
分类问题：如何解决样本分布不均衡 提出问题 样本分布不均衡是解决分类问题过程中经常遇到的一种情况。 当数据集中某一类的样本数量远超于其他样本的时候，模型自然会有一种倾向使得分类结果偏向于该类样本，这是概率统计中先验的性质。 在极端情况下，如果有一类样本的数量占了数据集的绝大多数，那么哪怕模型直接将所有的样本都预测为该类样本，模型预测的错误率依然不会太低。 为了发现这种情况，我们可以采用AUC等其他的指标。当出现样本不均衡时，AUC会趋于0.5 解决问题 1. 改变采样的方式 既然不同类别的样本的数量相差悬殊
样本不均衡分类问题
BMSW的博客
02-24 1071
样本不均衡导致分类结果较差的本质原因 样本不均衡包括样本类别不均衡和样本难易程度不均衡，样本不均衡导致的分类效果较差本质上是样本难易程度不均衡导致的[^1]。 对本质原因的个人理解 个人理解，如果一个样本集中的所有样本都能够被一个模型非常容易的进行分类，即使样本不同类别的数量差距较大，模型也能够达到比较好的分类效果。 1、人眼（可以看做一个模型）去区分鲸鱼和狗两种动物，由于两个类别的样本差别较大，...
不均衡数据分类方法
u013808288的专栏
12-28 2623
对于不均衡数据的分类方法，大体上可以从两个层面来解决！ 1.数据层面   即过采样和欠采样 1）随机过采样和随机欠采样    随机过采样即通过多次 有放回 随机 从少数类样本中抽取数据集，与多数类样本一起组成训练集。    随机欠采样即从多数样本中随机选择少量样本与少数类样本组成新的训练集，可以可以有放回也可以无放回。 2）SMOTE(Synthetic Minority Oversamp...
分类问题样本数据不平衡的几个解决办法
It’s All Uphill From Here
07-21 2851
分类时，由于训练集合中各样本数量不均衡，导致模型训偏在测试集合上的泛化性不好。解决样本不均衡的方法主要包括两类：（1）数据层面，修改各类别的分布；（2）分类器层面，修改训练算法或目标函数进行改进。还有方法是将上述两类进行融合。 数据层面 1. 过采样 （1） 基础版本的过采样：随机过采样训练样本中数量比较少的数据；缺点，容易过拟合； （2） 改进版本的过采样：SMOTE，通过插值的方式加入近邻的数据点； （3） 基于聚...
机器学习 - 如何解决不均衡样本的分类问题
weixin_41332009的博客
02-18 1153
文本翻译(和精简)自 Upasana 小姐姐的文章 Imbalanced Data: How to handle Imbalanced Classification Problems 原文链接： https://www.analyticsvidhya.com/blog/2017/03/imbalanced-data-classification/ 1. 简介 类别不均衡问题在机器学习和数据科学上十分常见。在类别不均衡时，属于一个类别的样本数量显着低于属于其他类别的样本数量。 例如，在异常检测问题 – 如
如何解决二分类中的样本不平衡问题
brucelin_188的博客
12-23 5299
在搭建模型时，二分类中，经常会遇到目标变量的分类数量相差很大，比如分类是1的数量是5000，分类是0的数量是100，这样如果对数据的不平衡性不做处理，模型的效果也会很差。今天用一个案例来进行实操： 1、**案例目的**： 找出有资金需求的中小企业借贷户并销售其贷款产品 2、**背景**： 对于中小企业而言，要快速成长最需要的就是资金。若能找出这些有资金需求的中小企业公司户并销售其贷款产品，将能为银行带来不少的营收，并改善中小企业的经营。 3、**数据说明** 训练数据包含26,144笔客户资料；每笔客户资料
目标检测 | 样本不平衡问题（含具体解决方案）
求知若饥，虚心若愚。
01-07 2781
了解并解决目标检测技术中的样本不平衡问题。
分类中解决类别不平衡问题
热门推荐
Microstrong
05-11 5万+
关注微信公众号【Microstrong】,我现在研究方向是机器学习、深度学习，分享我在学习过程中的读书笔记！一起来学习，一起来交流，一起来进步吧！本文同步更新在我的微信公众号里面，公众号文章地址：https://mp.weixin.qq.com/s?__biz=MzI5NDMzMjY1MA==&mid=2247484313&idx=1&sn=568015a62bf99ca5...
机器学习知识点：不均衡数据的采样方法
Python数据挖掘
06-23 3252
然后，使用3最近邻分类器对数据集进行分类，并将分类器输出的样本集合与前面生成的样本集合取并集，得到最终需要被移除的样本集合。边界样本是指那些位于多数类样本和少数类样本之间的样本，它们往往是难以分类的样本。**CondensedNearestNeighbour算法可以生成一个具有较少样本数量的新样本集，其中包含了原始数据集中的少数类样本和一些被错误分类的样本。较低的密度因子表示该样本所属的区域缺乏少数类样本，而较高的密度因子表示该样本周围有更多的少数类样本。根据特征的频率，确定新样本的位置。
Malsite-Deep：Malsite-Deep：基于NearMiss-2策略的深度学习和多信息融合预测蛋白的丙二酸化位点
02-19
## Malsite-Deep Malsite-Deep：基于NearMiss-2策略的深度学习和多信息融合预测蛋白质丙二酸化位点 ### Malsite-Deep使用以下依赖项： Python 3.6 麻木 科学的 scikit学习 大熊猫 TensorFlow 凯拉斯 ###指导原则：**数据集文件包含五类数据集，其中包含训练数据集和独立测试数据集。 **特征提取： PseAAC.py是PseAAC的实现。 exchange_matrix.m和be_extract_feature是BE的实现。 Bi_profile_bayes.m是BPB的实现。 DPC.py是实施DC的实现。 EBGW_DATA.m和EBGW.m是EBGW的实现。 BLOSUM62.py是BLOSUM62的实现。 EAAC.py是EAAC的实现。 PWAA_Y1.m是PWAA的实现。 **
smote的matlab代码-kmeans_smote:基于k-means和SMOTE的不平衡学习过采样
06-19
smote的matlab代码基于 K-Means 和 SMOTE 的不平衡学习过采样 K-Means SMOTE 是一种针对类不平衡数据的过采样方法。 它通过在输入空间的安全和关键区域生成少数类样本来帮助分类。 该方法避免了噪声的产生，有效地克服了类之间和类内的不平衡。 该项目是 k-means SMOTE 的 Python 实现。 它与 scikit-learn-contrib 项目兼容。 安装 依赖关系 该实现在 python 3.6 下进行了测试，并与最新版本的不平衡学习框架一起使用： 不平衡学习 (>=0.4.0, =1.13, =0.19.0, <0.21) 安装 皮皮 pip install kmeans-smote 从源头 克隆这个存储库并运行 setup.py 文件。 使用以下命令从 GitHub 获取副本并安装所有依赖项： git clone https://github.com/felix-last/kmeans_smote.git cd kmeans-smote pip instal
python使用imbalanced-learn的NearMiss方法进行下采样处理数据不平衡问题
data+scenario+science+insight
08-21 1487
python使用imbalanced-learn的NearMiss方法进行下采样处理数据不平衡问题 机器学习中常常会遇到数据的类别不平衡（class imbalance），也叫数据偏斜（class skew）。以常见的二分类问题为例，我们希望预测病人是否得了某种罕见疾病。但在历史数据中，阳性的比例可能很低（如百分之0.1）。在这种情况下，学习出好的分类器是很难的，而且在这种情况下得到结论往往也是很具迷惑性的。 以上面提到的场景来说，如果我们的分类器总是预测一个人未患病，即预测为反例，那.
极端类别不平衡数据下的分类问题研究综述，终于有人讲全了！
Datawhale
11-04 8441
不平衡学习是机器学习问题的一个重要子域，其主要关注于如何从类别分布不均衡的数据中学习数据的模式。在这篇文章中我们主要关注不平衡分类问题，特别地，我们主要关注类别极端不平衡...
平衡数据ADASYN和BorderlineSMOTE两种算法
weixin_44130900的博客
08-14 893
虽然这些参数在不同的算法中有不同的名称和用途，但它们的目的都是在过采样过程中控制邻居点的数量或参考样本的数量，以确保生成的合成样本能够更好地反映原始数据的分布特征。具体的取值需要根据数据集的特点和算法的要求进行调整。（用于找到边界样本的近邻点的数量）：一般建议选择一个较小的值，通常在2到10之间。较小的值可以更关注边界样本周围的局部结构，而不会受到过多的噪声或离群值的干扰。这些值的选择对于算法的性能和生成的合成样本的质量至关重要。是在不同的过采样算法中使用的参数，用于指定邻居数量或参考样本的数量。
python抽样方法详解及实现
qq_24591139的博客
09-06 2万+
随机抽样—总体个数较少 每个抽样单元被抽中的概率相同，并且可以重现。随机抽样常常用于总体个数较少时，它的主要特征是从总体中逐个抽取。 1、抽签法 2、随机数法：随机数表、随机数骰子或计算机产生的随机数。 分层抽样——总体存在差异且对结果有影响 分层抽样是指在抽样时，将总体分成互不相交 [2] 的层，然后按照一定的比例，从各层独立地抽取一定数量的个体，将各层取出的个体合在一起作为样本的方法。层内...
不平衡数据的机器学习
皮皮blog
09-26 1万+
不平衡数据的场景出现在互联网应用的方方面面，如搜索引擎的点击预测（点击的网页往往占据很小的比例），电子商务领域的商品推荐（推荐的商品被购买的比例很低），信用卡欺诈检测，网络攻击识别等等。问题定义那么什么是不平衡数据呢？顾名思义即我们的数据集样本类别极不均衡，以二分类问题为例，假设我们的数据集是$S$，数据集中的多数类为$S_maj$，少数类为$S_min$，通常情况下把多数类样本的比例为$100:
【原创】数据挖掘案例——ReliefF和K-means算法的医学应用
alad64007的博客
08-29 2476
　　数据挖掘方法的提出，让人们有能力最终认识数据的真正价值，即蕴藏在数据中的信息和知识。数据挖掘(DataMiriing)，指的是从大型数据库或数据仓库中提取人们感兴趣的知识，这些知识是隐含的、事先未知的潜在有用信息，数据挖掘是目前国际上，数据库和信息决策领域的最前沿研究方向之一。因此分享一下很久以前做的一个小研究成果。也算是一个简单的数据挖掘处理的例子。 1.数据挖掘与聚类分析概述...
解决Adam优化器样本不均匀
最新发布
01-15
### 解决 Adam 优化器样本不均衡问题的方法 #### 使用重采样技术 针对样本不均衡的情况，可以应用重采样的方法来调整不同类别的样本数量。具体来说，可以通过欠采样多数类或过采样少数类的方式使各类别之间的比例更加平衡。这种方法有助于防止模型偏向于占主导地位的类别，从而改善整体性能[^1]。 #### 应用代价敏感学习 另一种有效的策略是引入代价敏感机制，在损失函数中赋予不同误分类成本给各个类别。当使用 Adam 进行参数更新时，这种做法能促使网络更多关注那些原本被忽视的小概率事件，进而缓解因数据分布倾斜带来的负面影响[^2]。 #### 动态加权方案 为了进一步增强对不平衡数据集下训练效果的影响，还可以考虑实施基于实例难度或者类别频率计算得出的动态权重分配方式。这不仅可以在一定程度上抑制常见模式过度拟合的现象发生，而且有利于挖掘稀有特征并促进其表达，最终达到更好的收敛状态。 #### 自适应学习率调节 考虑到 Adam 已经具备了自适应特性，即根据不同参数维度的历史梯度信息自动调整各自的学习速率；因此在此基础上继续探索更为灵活高效的学习率调控手段也是可行之策之一。比如结合 OneCycleLR 或者 CosineAnnealingWarmRestarts 等周期性变化规律来进行全局范围内的微调操作，以此确保在整个迭代过程中始终维持适宜的速度前进而不至于陷入局部极小值陷阱之中[^3]。 ```python import torch.optim as optim from torchvision import datasets, transforms from torch.utils.data.sampler import WeightedRandomSampler # 定义转换规则 transform = transforms.Compose([transforms.ToTensor(),]) # 加载 MNIST 数据集作为示例 dataset_train = datasets.MNIST(root='./data', train=True, download=True, transform=transform) # 计算每个类别的样本数 class_sample_count = [0] * len(dataset_train.classes) for _, target in dataset_train: class_sample_count[target] += 1 # 设置权重向量 weights = 1 / torch.tensor(class_sample_count, dtype=torch.float) # 创建 sampler 对象 sampler = WeightedRandomSampler(weights=weights, num_samples=len(dataset_train), replacement=True) # 构建 DataLoader 并指定 sampler 参数 train_loader = torch.utils.data.DataLoader( dataset_train, batch_size=64, shuffle=False, sampler=sampler ) # 初始化模型与优化器 model = ... # 用户定义的具体架构 optimizer = optim.Adam(model.parameters()) # 开始训练循环... ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值