应对不平衡数据集：策略与实例解析

标题 ：应对不平衡数据集：策略与实例解析

摘要 ：本文全面探讨了不平衡数据集的相关知识，涵盖其定义、对模型的影响以及有效的解决方法。通过详细阐述下采样、上调权重和重新平衡比率等策略，并结合信用卡欺诈检测与疾病诊断的实例，深入剖析了这些方法在实际应用中的具体操作及优势，旨在帮助读者充分理解并掌握处理不平衡数据集的技巧，以提升模型性能和泛化能力。

在数据挖掘与机器学习领域，数据集的平衡性对模型的训练效果有着至关重要的影响。其中，不平衡数据集是一种常见且具有挑战性的情况，本文将围绕不平衡数据集展开深入探讨。

不平衡数据集的定义

不平衡数据集指的是数据集中正例和负例标签数量存在较大差异，多数类占据主导地位，而少数类样本数量稀少。根据少数类数据所占百分比，可将不平衡程度分为三类：当少数类占比处于 20%-40% 时，属于温和不平衡；若少数类占比在 1%-20% 之间，则视为一般不平衡；而当少数类占比不到 1% 时，便达到了极端不平衡的程度。

不平衡数据集的影响

由于少数类样本数量过少，模型可能无法充分学习到该类别的特征信息，从而导致训练出的模型在对少数类进行预测时效果不佳，出现较高的误判率。不过，对于轻度以及部分中度不平衡的数据集，通常不会给模型造成过大的困扰，在实际操作中可优先尝试直接使用原始数据集进行训练，观察模型表现后再决定是否采取进一步的处理措施。

解决方法

• 下采样和上调权重 ：

  • 下采样 ：通过对多数类抽取子集的方式减少多数类样本数量，进而改善正负例之间的比例关系。例如在病毒检测数据集里，若原始正负例比例为 1:200，按照 10 的比例对多数类进行下采样后，正负例比例即可优化为 1:20，使得模型在训练过程中能够更均衡地接触到正负两类样本，有助于提升对少数类的识别能力。
  • 上调权重 ：在对多数类进行下采样的同时，给这些下采样后的多数类样本赋予示例权重，权重值等于下采样的因子。如以上述 10 的下采样系数为例，对应的示例权重便设为 10。如此一来，模型在训练阶段会将下采样后的多数类样本的重要性放大，使其相当于原始多数类样本数量所对应的重要性，从而有效降低预测偏差，平衡模型对多数类和少数类的预测性能。

• 重新平衡比率 ：需依据实验情况确定合理的重新平衡比率，期间需综合考量批次大小、不平衡比率以及训练集示例总数等诸多因素。理想状态下，每个批次都应包含一定数量的少数类示例，一般建议批次大小至少要是失衡比率的数倍。例如，假设数据集的不平衡比率为 100:1，训练集有 10 亿多个示例，批处理大小为 128，为了改进模型效果，可以考虑将批处理大小增大至 1024，或者保持批处理大小为 128 不变，而将下采样率调整为 20:1，以此让模型在训练时能更充分地学习到少数类的特征信息，提升模型的整体性能。

实例分析

• 下采样和上调权重的完整实例 ：以信用卡欺诈检测数据集为例，其中欺诈交易作为少数类仅占 0.1%，正常交易作为多数类占比达 99.9%，数据集共有 100 万条记录，具体包括 1000 条欺诈交易记录和 999000 条正常交易记录。实施下采样操作，按 10 的比例对正常交易进行下采样，即从 999000 条正常交易记录中随机抽取 99900 条，这样欺诈交易与正常交易的比例就从原来的 1:999 优化为 1:99（1000:99000）。与此同时，给下采样后的正常交易样本添加示例权重 10，在模型训练过程中，模型会把下采样后的正常交易样本的重要性当作原始正常交易样本的 10 倍来对待，促使模型在训练时更加关注少数类（欺诈交易）的特征，实现多数类和少数类权重的更好平衡，进而降低预测偏差，提升模型对欺诈交易的识别准确率。
• 重新平衡比率的完整实例 ：在疾病诊断数据集中，患病样本属于少数类，占比 0.5%，未患病样本是多数类，占比 99.5%，数据集包含 200 万条记录，其中患病记录 10000 条，未患病记录 1990000 条。为了确定重新平衡比率，首先希望每个批次里患病样本数量至少为 10 条。鉴于原始数据集中患病与未患病的比例为 1:199，那么批次大小应至少为 1990（10×199）。为进一步优化，将批次大小设定为 2000，这样每个批次就能包含 10 条患病记录和 1990 条未患病记录。如此一来，在模型训练时，能保证少数类（患病）样本更频繁地出现在各个批次中，让模型有更多机会学习少数类的特征，从而显著提高模型对少数类（患病）样本的预测能力，使其能更精准地诊断疾病。

总之，面对不平衡数据集，灵活运用下采样、上调权重以及合理调整重新平衡比率等方法，能够有效缓解因数据不平衡给模型带来的负面影响，显著提升模型的性能和泛化能力，使其在实际应用场景中发挥更大的价值。