SMOTE过采样

转载自https://blog.youkuaiyun.com/keycoder/article/details/79188853

一、

SMOTE全称是Synthetic Minority Oversampling Technique即合成少数类过采样技术，它是基于随机过采样算法的一种改进方案，由于随机过采样采取简单复制样本的策略来增加少数类样本，这样容易产生模型过拟合的问题，即使得模型学习到的信息过于特别(Specific)而不够泛化(General)，SMOTE算法的基本思想是对少数类样本进行分析并根据少数类样本人工合成新样本添加到数据集中，算法流程如下。

1、对于少数类中每一个样本x，以欧氏距离为标准计算它到少数类样本集中所有样本的距离，得到其k近邻。

2、根据样本不平衡比例设置一个采样比例以确定采样倍率N，对于每一个少数类样本x，从其k近邻中随机选择若干个样本，假设选择的近邻为xn。

3、对于每一个随机选出的近邻xn，分别与原样本按照如下的公式构建新的样本 
                                   xnew=x+rand(0,1)∗|x−xn| 
 

因此，smote算法的思想是合成新的少数类样本，合成的策略是对每个少数类样本a，从它的最近邻中随机选一个样本b，然后在a、b之间的连线上随机选一点作为新合成的少数类样本。

二、下面具体介绍如何合成新的样本
   
       设训练集的一个少数类的样本数为 T ，那么SMOTE算法将为这个少数类合成 NT 个新样本。这里要求 N 必须是正整数，如果给定的 N<1 那么算法将“认为”少数类的样本数 T=NT ，并将强制 N=1 。 考虑该少数类的一个样本 ii ，其特征向量为 xi,i∈{1,…,T}：

首先从该少数类的全部 T 个样本中找到样本 xi 的 k个近邻（例如用欧氏距离），记为 xi(near),near∈{1,…,k}；
然后从这 k 个近邻中随机选择一个样本 xi(nn) ，再生成一个0 到 1 之间的随机数 ζ1 ，从而合成一个新样本 xi1 ：
                                                        xi1=xi+ζ1⋅(xi(nn)−xi) 
     3. 将步骤2重复进行 N 次，从而可以合成 NN 个新样本：xinew,new∈1,…,N。

       那么，对全部的 T 个少数类样本进行上述操作，便可为该少数类合成 NT个新样本。

       如果样本的特征维数是 2维，那么每个样本都可以用二维平面上的一个点来表示。SMOTE算法所合成出的一个新样本 xi1 相当于是表示样本 xi的点和表示样本 xi(nn) 的点之间所连线段上的一个点。所以说该算法是基于“插值”来合成新样本。

三、代码实现

可以调用python imblearn包中的SMOTE函数