样本类别不均衡的问题

样本类别数量不均衡主要出现在分类建模的情况。通常为某类别的样本数量较少，导致模型忽略了小样本的特征，由大样本主导。
面对样本数量不均的情况，常用的方法如下：

• 抽样
  常规的包含过抽样、欠抽样、组合抽样
  过抽样：将样本较少的一类sample补齐
  欠抽样：将样本较多的一类sample压缩
  组合抽样：约定一个量级N，同时进行过抽样和欠抽样，使得正负样本量和等于约定量级N

这种方法要么丢失数据信息，要么会导致较少样本共线性，存在明显缺陷

• 权重调整
  常规的包括算法中的weight，weight matrix
  改变入参的权重比，比如boosting中的全量迭代方式、逻辑回归中的前置的权重设置

这种方式的弊端在于无法控制合适的权重比，需要多次尝试

• 核函数修正
  通过核函数的改变，来抵消样本不平衡带来的问题

这种使用场景局限，前置的知识学习代价高，核函数调整代价高，黑盒优化

• 模型修正
  通过现有的较少的样本类别的数据，用算法去探查数据之间的特征，判读数据是否满足一定的规律
  比如，通过线性拟合，发现少类样本成线性关系，可以新增线性拟合模型下的新点

实际规律比较难发现，难度较高

---

python有专门处理不平衡数据的包

pip install imbalanced_learn

from imblearn.over_sampling import SMOTE  # 过抽样处理库SMOTE
from imblearn.under_sampling