11、数据采样：解决不平衡分类问题的有效途径

数据采样：解决不平衡分类问题的有效途径

1. 不平衡分类问题的挑战

在机器学习领域，不平衡分类数据集是一个常见且棘手的问题。不平衡分类指的是数据集中各类别的分布不均，训练数据集中属于每个类别的示例数量差异很大，严重时少数类与多数类的比例可能达到 1:10、1:1000 甚至 1:10000。

这种不平衡会对机器学习算法的性能产生负面影响。许多机器学习算法是为处理各类别样本数量相等的分类数据而设计的。当面对不平衡数据集时，像决策树、k - 近邻和神经网络等算法会认为少数类样本不重要，从而将更多注意力放在多数类上，导致少数类样本的误分类率较高。然而，在实际应用中，少数类往往代表着诊断、故障、欺诈等特殊情况，是我们最为关注的类别。

2. 采样方法平衡类别分布

解决不平衡分类问题最常用的方法是改变训练数据集的组成，也就是采用采样方法。采样方法分为过采样和欠采样两种主要类型，仅应用于训练数据集，而不用于测试或验证数据集，目的是在训练过程中平衡类别分布，同时确保在真实且具有代表性的数据上评估模型。

2.1 过采样技术

过采样方法通过复制少数类样本或合成新的少数类样本来增加少数类的样本数量。常见的过采样方法如下：
- 随机过采样 ：随机复制训练数据集中的少数类样本。
- 合成少数类过采样技术（SMOTE） ：在特征空间中选择相近的样本，在它们之间连线，并在连线上选取新的样本点。
- 边界 SMOTE（Borderline - SMOTE） ：选择少数类中被误分类的样本，仅生成难以分类的