imbalanced-learn过采样技术深度解析：从RandomOverSampler到SMOTE家族
项目地址: https://gitcode.com/gh_mirrors/im/imbalanced-learn 文章详细解析了imbalanced-learn库中的多种过采样技术，从基础的RandomOverSampler随机过采样到SMOTE及其高级变种算法。内容涵盖了RandomOverSampler的核心原理与平滑自举技术、SMOTE算法的合成样本生成机制、Borderline-SMOTE和SVM-SMOTE的边界优化策略，以及ADASYN的自适应合成采样技术。每部分都包含数学原理、参数配置、代码示例和实际应用场景，为处理类别不平衡问题提供了全面的技术指南。
RandomOverSampler随机过采样原理与实践
在机器学习处理类别不平衡问题时，RandomOverSampler（随机过采样器）是最基础且直观的解决方案之一。作为imbalanced-learn库中最简单的过采样方法，它通过复制少数类样本来平衡数据集，为后续更复杂的采样算法奠定了理论基础。
核心原理与算法机制
RandomOverSampler的核心思想是通过有放回地随机抽样来增加少数类样本的数量。其算法流程可以清晰地通过以下流程图展示：
数学表达形式
设原始数据集中少数类样本集合为 $S_{\text{minority}} = {x_1, x_2, ..., x_m}$，多数类样本集合为 $S_{\text{majority}} = {x_{m+1}, x_{m+2}, ..., x_n}$，其中 $m \ll n$。
RandomOverSampler的目标是生成 $N = n - m$ 个新的少数类样本，使得两类样本数量相等。每个新样本 $x_{\text{new}}$ 通过以下方式生成：
$$ x_{\text{new}} = x_i \quad \text{其中} \quad i \sim \text{Uniform}(1, m) $$
平滑自举采样技术
从版本0.8开始，RandomOverSampler引入了平滑自举（Smoothed Bootstrap）技术，也称为ROSE（Random Over-Sampling Examples）方法。这种改进版本通过在抽样时添加微小扰动来增加样本的多样性。
平滑自举的数学表达式为：
$$ x_{\text{new}} = x_i + \epsilon \cdot \Sigma^{1/2} \cdot z $$
其中：
- $\epsilon$ 是收缩参数（shrinkage）
- $\Sigma$ 是少数类样本的协方差矩阵
- $z \sim \mathcal{N}(0, I)$ 是标准正态分布的随机向量
参数配置详解
RandomOverSampler提供了灵活的配置选项来适应不同的应用场景：
| 参数 | 类型 | 默认值 | 描述 |
|---|---|---|---|
sampling_strategy | str/dict | 'auto' | 采样策略，可指定各类别的目标样本数 |
random_state | int | None | 随机种子，确保结果可重现 |
shrinkage | float/dict | None | 平滑自举的收缩参数，控制扰动强度 |
实践应用示例
下面通过一个完整的代码示例展示RandomOverSampler的实际应用：
import numpy as np
from collections import Counter
from sklearn.datasets import make_classification
from imblearn.over_sampling import RandomOverSampler
# 创建不平衡数据集
X, y = make_classification(
n_classes=2,
class_sep=2,
weights=[0.1, 0.9],
n_informative=3,
n_redundant=1,
n_features=20,
n_clusters_per_class=1,
n_samples=1000,
random_state=42
)
print('原始数据集分布:', Counter(y))
# 应用随机过采样
ros = RandomOverSampler(random_state=42)
X_resampled, y_resampled = ros.fit_resample(X, y)
print('过采样后分布:', Counter(y_resampled))
print('新增样本数量:', len(X_resampled) - len(X))
平滑自举的高级应用
对于需要更多样性的场景，可以使用平滑自举功能：
# 使用平滑自举的RandomOverSampler
ros_smoothed = RandomOverSampler(
random_state=42,
shrinkage=0.1 # 设置收缩参数
)
X_smoothed, y_smoothed = ros_smoothed.fit_resample(X, y)
# 比较两种方法的差异
print("标准过采样样本方差:", np.var(X_resampled, axis=0))
print("平滑自举样本方差:", np.var(X_smoothed, axis=0))
性能特征与适用场景
RandomOverSampler具有以下性能特征：
- 时间复杂度: $O(N \times d)$，其中 $N$ 是需要生成的样本数，$d$ 是特征维度
- 空间复杂度: $O((n + N) \times d)$，需要存储原始和新生成的样本
- 支持的数据类型: 数值型、分类型、稀疏矩阵、包含缺失值的数据
适用场景对比表
| 场景类型 | 推荐使用 | 注意事项 |
|---|---|---|
| 小规模数据集 | ✅ 非常适合 | 计算开销小，效果明显 |
| 大规模数据集 | ⚠️ 谨慎使用 | 可能显著增加内存使用 |
| 高维数据 | ✅ 支持良好 | 平滑自举能提供更好的多样性 |
| 多分类问题 | ✅ 完全支持 | 可独立处理每个少数类 |
| 实时应用 | ⚠️ 中等适用 | 采样过程相对快速 |
最佳实践建议
- 数据预处理: 在应用过采样之前，确保完成特征缩放和缺失值处理
- 交叉验证: 将过采样过程纳入交叉验证循环中，避免数据泄露
- 模型选择: 结合使用简单的分类器（如逻辑回归）来评估过采样效果
- 性能监控: 监控过采样后的模型是否出现过拟合现象
与其他过采样方法的对比
为了更直观地理解RandomOverSampler在imbalanced-learn生态系统中的位置，以下类图展示了其与其他过采样方法的关系：
RandomOverSampler作为最基础的过采样方法，虽然简单但功能完备。它为解决类别不平衡问题提供了一个可靠的基准方案，特别适合作为复杂算法的对比基准和快速原型开发。在实际应用中，建议从RandomOverSampler开始建立基线性能，再逐步尝试更高级的过采样技术。
SMOTE算法核心思想与实现机制
SMOTE（Synthetic Minority Over-sampling Technique）是处理类别不平衡数据集的革命性算法，由Nitesh Chawla等人于2002年提出。与传统的简单过采样方法不同，SMOTE通过合成新的少数类样本来避免过拟合问题，为机器学习模型提供更丰富的训练数据。
算法核心思想
SMOTE的核心思想基于一个简单的几何直觉：在特征空间中，少数类样本之间的区域往往蕴含着丰富的潜在信息。算法通过在少数类样本与其最近邻之间线性插值来生成新的合成样本，从而扩展少数类的决策边界。
数学表达与实现机制
SMOTE的样本生成过程可以用以下数学公式表示：
$$ \mathbf{s_{\text{new}}} = \mathbf{s_i} + \lambda \times (\mathbf{s_j} - \mathbf{s_i}) $$
其中：
- $\mathbf{s_i}$ 是当前少数类样本
- $\mathbf{s_j}$ 是从其k近邻中随机选择的样本
- $\lambda$ 是[0,1]区间内的随机数
- $\mathbf{s_{\text{new}}}$ 是生成的合成样本
imbalanced-learn中的SMOTE实现
在imbalanced-learn库中，SMOTE算法的实现包含以下几个关键组件：
1. 基础架构类 - BaseSMOTE
BaseSMOTE类作为所有SMOTE变体的基类，定义了核心的样本生成机制：
class BaseSMOTE(BaseOverSampler):
def __init__(self, sampling_strategy="auto", random_state=None, k_neighbors=5):
super().__init__(sampling_strategy=sampling_strategy)
self.random_state = random_state
self.k_neighbors = k_neighbors
def _make_samples(self, X, y_dtype, y_type, nn_data, nn_num, n_samples, step_size=1.0, y=None):
# 核心样本生成逻辑
random_state = check_random_state(self.random_state)
samples_indices = random_state.randint(low=0, high=nn_num.size, size=n_samples)
steps = step_size * random_state.uniform(size=n_samples)[:, np.newaxis]
rows = np.floor_divide(samples_indices, nn_num.shape[1])
cols = np.mod(samples_indices, nn_num.shape[1])
X_new = self._generate_samples(X, nn_data, nn_num, rows, cols, steps, y_type, y)
y_new = np.full(n_samples, fill_value=y_type, dtype=y_dtype)
return X_new, y_new
2. 样本生成过程
SMOTE的样本生成过程遵循严格的步骤：
3. 关键参数配置
SMOTE算法提供了灵活的配置选项：
| 参数 | 类型 | 默认值 | 描述 |
|---|---|---|---|
sampling_strategy | str/dict | 'auto' | 采样策略，控制各类别的目标样本数 |
random_state | int | None | 随机数种子，确保结果可重现 |
k_neighbors | int | 5 | 最近邻数量，影响样本生成的多样性 |
实际应用示例
以下是一个完整的SMOTE应用示例，展示如何在真实场景中使用该算法：
from imblearn.over_sampling import SMOTE
from sklearn.datasets import make_classification
from collections import Counter
# 创建不平衡数据集
X, y = make_classification(n_classes=2, class_sep=2,
weights=[0.1, 0.9], n_informative=3,
n_redundant=1, flip_y=0, n_features=20,
n_clusters_per_class=1, n_samples=1000,
random_state=10)
print("原始数据集分布:", Counter(y))
# 应用SMOTE过采样
smote = SMOTE(random_state=42, k_neighbors=5)
X_resampled, y_resampled = smote.fit_resample(X, y)
print("SMOTE处理后分布:", Counter(y_resampled))
算法优势与特点
SMOTE算法相比传统过采样方法具有显著优势：
- 避免过拟合：通过合成新样本而非简单复制，减少过拟合风险
- 决策边界扩展：在特征空间中合理扩展少数类区域
- 灵活性：支持多种参数配置适应不同场景
- 可解释性：基于几何插值的生成方式具有清晰的数学解释
技术实现细节
在imbalanced-learn的实现中，SMOTE算法还考虑了以下技术细节：
- 稀疏矩阵支持：同时支持稠密和稀疏矩阵输入
- 数据类型保持：确保生成样本的数据类型与原始数据一致
- 随机性控制：通过random_state参数确保结果可重现
- 邻居验证：对k_neighbors参数进行严格的验证和转换
SMOTE算法为处理类别不平衡问题提供了一个强大而灵活的解决方案，其核心思想是通过智能的样本合成来丰富少数类的表示，从而提升分类器的性能表现。
Borderline-SMOTE和SVM-SMOTE高级变种
在解决类别不平衡问题时，基础的SMOTE算法虽然有效，但在处理边界样本时存在局限性。imbalanced-learn库提供了两种高级的SMOTE变种算法：Borderline-SMOTE和SVM-SMOTE，它们专门针对决策边界附近的样本进行优化，能够生成更具判别性的合成样本。
Borderline-SMOTE：智能边界采样
Borderline-SMOTE算法通过识别"危险"样本来改进基础SMOTE。这些危险样本位于类别边界附近，对于构建鲁棒的分类器至关重要。
算法原理
Borderline-SMOTE首先使用m_neighbors参数定义的邻居数量来识别危险样本。对于一个少数类样本，如果其m_neighbors个最近邻中超过一半属于多数类，则该样本被认为是危险样本。
from imblearn.over_sampling import BorderlineSMOTE
from sklearn.datasets import make_classification
from collections import Counter
# 创建不平衡数据集
X, y = make_classification(n_classes=2, class_sep=1.5,
weights=[0.1, 0.9], n_informative=3,
n_redundant=1, n_features=20,
n_clusters_per_class=1, n_samples=1000,
random_state=42)
print("原始数据集分布:", Counter(y))
# 应用Borderline-SMOTE
bsmote = BorderlineSMOTE(
sampling_strategy='auto',
random_state=42,
k_neighbors=5,
m_neighbors=10,
kind='borderline-1' # 或 'borderline-2'
)
X_res, y_res = bsmote.fit_resample(X, y)
print("重采样后分布:", Counter(y_res))
两种变体模式
Borderline-SMOTE提供两种不同的采样策略：
borderline-1模式：仅在危险样本和同类样本之间生成新样本 borderline-2模式：在危险样本和所有样本（包括多数类样本）之间生成新样本
参数配置详解
| 参数 | 默认值 | 说明 | 推荐范围 |
|---|---|---|---|
| k_neighbors | 5 | 生成样本时使用的最近邻数量 | 3-10 |
| m_neighbors | 10 | 识别危险样本的最近邻数量 | 5-15 |
| kind | 'borderline-1' | 采样模式选择 | 'borderline-1'或'borderline-2' |
SVM-SMOTE：基于支持向量的智能采样
SVM-SMOTE结合了支持向量机(SVM)的优势，使用SVM分类器来识别最有价值的样本进行过采样。
算法工作机制
SVM-SMOTE首先训练一个SVM分类器，然后识别支持向量附近的少数类样本。这些样本位于决策边界附近，对于分类器的性能至关重要。
from imblearn.over_sampling import SVMSMOTE
from sklearn.svm import SVC
# 使用自定义SVM配置
svm_smote = SVMSMOTE(
sampling_strategy='auto',
random_state=42,
k_neighbors=5,
m_neighbors=10,
svm_estimator=SVC(kernel='rbf', C=1.0, gamma='scale'),
out_step=0.5
)
X_res_svm, y_res_svm = svm_smote.fit_resample(X, y)
print("SVM-SMOTE重采样后分布:", Counter(y_res_svm))
核心优势
SVM-SMOTE相比基础SMOTE的优势在于：
- 精准定位：使用SVM支持向量精确识别边界样本
- 方向控制：通过out_step参数控制样本生成方向
- 灵活性：支持自定义SVM估计器配置
算法性能对比
为了帮助选择合适的算法，以下是两种变体的性能特征对比：
| 特性 | Borderline-SMOTE | SVM-SMOTE |
|---|---|---|
| 计算复杂度 | 中等 | 较高 |
| 边界识别 | 基于最近邻 | 基于SVM支持向量 |
| 参数敏感性 | 相对较低 | 较高 |
| 适用场景 | 一般边界问题 | 复杂决策边界 |
| 内存使用 | 中等 | 较高 |
实践建议与最佳实践
在实际应用中，选择哪种算法取决于具体的数据特征和业务需求：
- 数据规模较小时推荐使用SVM-SMOTE，因为它能更精确地识别边界
- 计算资源有限时推荐使用Borderline-SMOTE
- 复杂决策边界问题优先考虑SVM-SMOTE
- 始终通过交叉验证来评估不同参数配置的效果
from sklearn.model_selection import cross_val_score
from sklearn.ensemble import RandomForestClassifier
from sklearn.pipeline import Pipeline
# 创建评估管道
pipeline = Pipeline([
('sampler', BorderlineSMOTE(random_state=42)),
('classifier', RandomForestClassifier(n_estimators=100))
])
# 交叉验证评估
scores = cross_val_score(pipeline, X, y, cv=5, scoring='f1_macro')
print(f"Borderline-SMOTE + RandomForest F1分数: {scores.mean():.3f} ± {scores.std():.3f}")
高级配置技巧
对于特别复杂的数据集，可以考虑以下高级配置：
# 高级Borderline-SMOTE配置
advanced_bsmote = BorderlineSMOTE(
sampling_strategy={0: 500, 1: 500}, # 指定每个类的目标样本数
random_state=42,
k_neighbors=7,
m_neighbors=12,
kind='borderline-2'
)
# 高级SVM-SMOTE配置
from sklearn.svm import NuSVC
advanced_svm_smote = SVMSMOTE(
sampling_strategy='auto',
random_state=42,
k_neighbors=5,
m_neighbors=8,
svm_estimator=NuSVC(nu=0.5, kernel='linear'),
out_step=0.3
)
这两种高级SMOTE变体为处理类别不平衡问题提供了更加精细和有效的解决方案，特别是在需要处理边界样本和复杂决策边界的情况下。
ADASYN自适应合成采样技术应用
ADASYN（Adaptive Synthetic Sampling）是一种基于SMOTE改进的自适应过采样算法，它能够根据少数类样本的分布密度自适应地生成合成样本。与传统的SMOTE算法相比，ADASYN更加关注那些难以学习的少数类样本，在分类边界附近生成更多的合成样本，从而有效改善分类器对少数类的识别能力。
ADASYN算法原理
ADASYN算法的核心思想是通过计算每个少数类样本的"学习难度"来动态调整生成合成样本的数量。学习难度越高的样本，周围生成的合成样本越多。具体实现步骤如下：
算法的数学表达式如下：
对于每个少数类样本 $x_i$，计算其学习难度权重： $$ r_i = \frac{\Delta_i}{K} $$
其中 $\Delta_i$ 是 $x_i$ 的 K 近邻中多数类样本的数量，$K$ 是近邻数。
然后计算每个样本需要生成的合成样本数量： $$ g_i = r_i \times G $$
其中 $G$ 是需要生成的总样本数。
imbalanced-learn中的ADASYN实现
在imbalanced-learn库中，ADASYN类提供了完整的算法实现：
from imblearn.over_sampling import ADASYN
from collections import Counter
from sklearn.datasets import make_classification
# 创建不平衡数据集
X, y = make_classification(n_classes=2, class_sep=2,
weights=[0.1, 0.9], n_informative=3,
n_redundant=1, flip_y=0, n_features=20,
n_clusters_per_class=1, n_samples=1000,
random_state=10)
print('原始数据集分布:', Counter(y))
# 应用ADASYN过采样
ada = ADASYN(random_state=42, n_neighbors=5)
X_res, y_res = ada.fit_resample(X, y)
print('ADASYN处理后分布:', Counter(y_res))
参数配置详解
ADASYN类提供了灵活的配置选项：
| 参数 | 类型 | 默认值 | 描述 |
|---|---|---|---|
sampling_strategy | str/dict | 'auto' | 采样策略，控制各类别的目标采样数量 |
random_state | int | None | 随机数种子，确保结果可重现 |
n_neighbors | int/object | 5 | 近邻数量或近邻估计器对象 |
实际应用案例
下面通过一个具体的例子展示ADASYN在实际分类任务中的应用效果：
import numpy as np
import matplotlib.pyplot as plt
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import classification_report, confusion_matrix
# 生成高度不平衡的数据
X, y = make_classification(n_samples=1000, n_features=2, n_redundant=0,
n_clusters_per_class=1, weights=[0.1, 0.9],
class_sep=0.8, random_state=42)
# 划分训练测试集
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.3, random_state=42, stratify=y)
print("训练集分布:", Counter(y_train))
# 应用ADASYN
ada = ADASYN(random_state=42)
X_resampled, y_resampled = ada.fit_resample(X_train, y_train)
print("ADASYN处理后分布:", Counter(y_resampled))
# 训练分类器
clf = RandomForestClassifier(random_state=42)
clf.fit(X_resampled, y_resampled)
y_pred = clf.predict(X_test)
# 评估性能
print("分类报告:")
print(classification_report(y_test, y_pred))
print("混淆矩阵:")
print(confusion_matrix(y_test, y_pred))
算法优势与适用场景
ADASYN相比传统过采样方法的优势：
- 自适应性强：根据样本分布密度动态调整生成策略
- 边界关注：在决策边界附近生成更多样本，提升分类边界质量
- 多类别支持：天然支持多类别不平衡问题处理
- 兼容性好：与scikit-learn生态系统完全兼容
适用场景包括：
- 金融欺诈检测中的异常交易识别
- 医疗诊断中的罕见疾病检测
- 工业质量控制中的缺陷产品识别
- 网络安全中的异常行为检测
性能对比分析
通过对比实验可以清晰看到ADASYN的处理效果：
# 对比不同过采样方法
from imblearn.over_sampling import SMOTE, RandomOverSampler
from sklearn.metrics import f1_score
methods = {
'原始数据': None,
'随机过采样': RandomOverSampler(random_state=42),
'SMOTE': SMOTE(random_state=42),
'ADASYN': ADASYN(random_state=42)
}
results = {}
for name, sampler in methods.items():
if sampler is None:
X_train_res, y_train_res = X_train, y_train
else:
X_train_res, y_train_res = sampler.fit_resample(X_train, y_train)
clf = RandomForestClassifier(random_state=42)
clf.fit(X_train_res, y_train_res)
y_pred = clf.predict(X_test)
results[name] = {
'f1_score': f1_score(y_test, y_pred, average='weighted'),
'minority_f1': f1_score(y_test, y_pred, average=None)[0]
}
# 展示结果对比
import pandas as pd
results_df = pd.DataFrame(results).T
print(results_df)
注意事项与最佳实践
在使用ADASYN时需要注意以下几点：
- 数据预处理：确保数据已经进行了适当的标准化或归一化处理
- 参数调优：根据具体数据集调整
n_neighbors参数 - 过拟合风险：虽然ADASYN减少了过拟合风险，但仍需监控模型性能
- 计算复杂度：ADASYN的计算复杂度相对较高，在大数据集上需要考虑性能问题
ADASYN通过其自适应的样本生成机制，在处理高度不平衡数据集时表现出色，特别是在那些决策边界复杂、少数类样本分布不均匀的场景中。通过合理配置参数并结合适当的评估指标，ADASYN能够显著提升分类器对少数类的识别能力。
总结
imbalanced-learn库提供了从基础到高级的完整过采样技术体系，每种方法都有其独特的适用场景和优势。RandomOverSampler作为最简单直接的解决方案适合建立基线性能；SMOTE通过合成样本避免过拟合；Borderline-SMOTE和SVM-SMOTE专门优化边界样本处理；ADASYN则根据样本分布密度自适应生成样本。在实际应用中，需要根据数据特征、计算资源和业务需求选择合适的算法，并通过交叉验证和性能监控确保模型效果。这些过采样技术共同构成了处理类别不平衡问题的强大工具箱，能够显著提升机器学习模型在不平衡数据上的表现。
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
