不平衡数据集处理方式总结

1.问题背景

在医学图像处理中，经常面对不平衡数据集，尤其是严重不平衡的数据集，采用的方式主要有两种策略：

• 以数据为中心的处理方式

• 以算法为中心的处理方式

2.以数据为中心的处理方式

在处理不平衡数据集时，以数据为中心的方法通常包括重采样（如过采样和欠采样）、生成合成数据、以及调整类别权重等技术。过采样如SMOTE（Synthetic Minority Over-sampling Technique）通过生成少数类的新样本来平衡数据集，而欠采样则通过减少多数类样本来达到平衡。

2.1 过采样（Over-sampling）

原理：

过采样是通过增加少数类样本的数量来平衡数据集。这通常通过复制少数类样本，或者更常见的使用SMOTE（合成少数类过采样技术）生成新样本来实现。SMOTE通过在少数类样本的邻域中生成新样本来扩展少数类的样本空间。

优点：

• 可以通过增加少数类的样本数来提高模型对少数类的学习能力，减少模型对多数类的偏向。
• SMOTE可以生成多样的合成样本，有助于增强模型的泛化能力。

缺点：

• 过度复制少数类样本可能导致过拟合，尤其是当少数类样本数量非常少时。

• SMOTE生成的新样本虽然增加了少数类的样本量，但并不总是能准确代表少数类的多样性，可能会引入噪声。

2.2 欠采样（Under-sampling）

原理：

欠采样是通过减少多数类样本的数量来平衡数据集。其基本思想是从多数类中随机选择一部分样本进行保留，其余的则被丢弃。

优点：

• 可以有效减少数据集的大小，降低计算成本，尤其在大规模数据集上很有用。
• 简单且容易实现。

缺点：

• 丢弃大量多数类样本可能会导致丢失重要的模式信息，进而影响模型的准确性。
• 在数据集非常不平衡的情况下，欠采样可能会导致模型训练不充分，因为多数类的信息不足。

2.3 合成数据生成：SMOTE 和 ADASYN

原理：

合成数据生成方法，如SMOTE和ADASYN，是通过插值方法在少数类样本之间生成新的样本，而不是简单的复制现有样本。SMOTE通过随机选择少数类样本的邻居，使用这些邻居来生成新的样本；ADASYN（Adaptive Synthetic Sampling）则在生成合成样本时，优先考虑那些分类困难的样本。

优点：

• 可以生成更具多样性的样本，而不仅仅是复制已有样本。
• 相较于过采样直接复制，SMOTE和ADASYN的合成样本更有可能增加数据的多样性，减少过拟合风险。

缺点：

• 合成的样本可能会产生噪声，尤其是在数据不平衡程度较高时。
• 如果原始少数类样本质量较低，生成的合成样本也可能带有错误模式，影响模型的学习效果。

2.4 数据增强

原理：

数据增强通过对少数类样本进行变换（如旋转、缩放、裁剪、翻转等）来生成新的样本。这种方法尤其适用于图像数据，目的是通过创建变换后的样本来增加数据集的多样性。

优点：

• 可以有效增加少数类的样本数量，从而改善模型对少数类的学习。
• 在图像、音频等领域尤为有效，能帮助模型更好地应对实际应用中的变化。

缺点：

• 需要在变换时确保不会引入无意义的样本，尤其是在对数据进行复杂变换时。
• 对于某些数据类型（如文本数据），数据增强可能较难实施。

2.5 集成方法：如EasyEnsemble、BalanceCascade

原理：

集成方法如EasyEnsemble和BalanceCascade通过集成多个基学习器来增强少数类的识别能力。这些方法通常将数据集拆分成多个子集，对这些子集进行训练，并通过投票机制来决定最终的分类结果。

优点：

• 通过集成多个模型的决策，可以降低单一模型的偏差，提高少数类的识别能力。
• 可以在不需要对数据进行重采样的情况下，提升少数类的分类效果。

缺点：

• 计算开销较大，因为需要训练多个模型。
• 集成方法的性能往往依赖于基学习器的选择和集成策略。

3.以算法为中心的方法

以算法为中心的方法主要集中在调整模型的损失函数，使得模型对少数类更敏感。

3.1 交叉熵（Cross-Entropy）

原理：

交叉熵是分类问题中常用的损失函数，通常用于衡量预测概率分布与真实标签之间的差异。在不平衡数据集的情况下，标准的交叉熵损失函数并不会单独考虑类别不平衡的问题。其标准公式如下：

${\mathcal{L}}_{CE}=-{\sum }_{i=1}^N{y}_i\log (\widehat{y_i})$

其中，$y_i$是真实标签$\widehat{y_i}$ 是模型预测的概率。对于二分类问题，交叉熵损失就是对每个样本的负对数似然求和。

优点：

• 简单且直观，易于实现。
• 适用于大多数标准分类任务。
• 计算效率较高，尤其是对于较大的数据集。

缺点：

• 在处理不平衡数据集时，交叉熵容易偏向于多数类，导致少数类的学习不充分。
• 它对所有类别的错误惩罚是相同的，因此如果数据不平衡，模型可能会忽略少数类。

3.2 加权交叉熵（Weighted Cross-Entropy）

原理：

加权交叉熵是在标准交叉熵的基础上，为不同类别分配不同的权重。权重通常基于类别频率来调整，少数类的权重会被增加，从而使得模型在计算损失时更加关注少数类的预测结果。加权交叉熵的公式如下：

${\mathcal{L}}_{WCE}=-{\sum }_{i=1}^{N}w(y_i)\cdot y_i\log (\widehat{y_i})$

其中，$w(y_i$