13、KNN - SMOTE：提升不平衡生物医学分类效能的创新重采样技术

KNN - SMOTE：提升不平衡生物医学分类效能的创新重采样技术

1. 引言

在当今时代，大数据的重要性与日俱增，对大型数据集的处理和探索研究成为了热门领域。这给传统机器学习方法带来了挑战，因为传统方法追求速度、效率和精度，但目前缺乏高效处理各种现实世界数据类型的方法，比如识别欺诈性信用卡交易、检测未经授权的网络入侵、从卫星图像中发现石油泄漏以及生物医学领域的诊断和预测等任务。

数据科学家面临的一个重大挑战是不平衡数据集的日益普遍。传统机器学习算法基于各类样本均衡分布的假设构建，但样本数量的不平衡会使算法偏向多数类。尽管少数类样本数量少，但往往更具重要性，因此需要提高学习算法正确诊断少数类病例的准确性。例如在生物医学领域，从一系列不同患者的乳腺X光图像数据集中可以看到不平衡学习的现实影响。该数据集将患者分为正常（阴性类）和患癌（阳性类），通常阴性样本数量会远远超过阳性样本。在这个数据集中，有10923个阴性样本（多数类）和260个阳性样本（少数类）。理想的分类器应能以相同的准确率预测多数类和少数类，但实际分类中存在高度不平衡，多数类的准确率可达100%，而少数类只有0% - 10%。若少数类分类准确率为10%，意味着234名癌症患者会被误诊为非癌症患者，在医学领域，这种错误的代价远高于将非癌症患者误诊为癌症患者。

因此，研究类别不平衡问题具有重要意义。类别不平衡问题广泛存在于数据分析的众多关键领域，而且大多数机器学习分类系统在处理类别不平衡问题上能力不足。本文介绍了一种新的过采样方法——K近邻合成少数类过采样技术（KNN - SMOTE），旨在缓解不平衡学习问题并为少数类生成有意义的人工样本。本研究的主要贡献如下：
- 分析了几种先前的数据平衡方法的优缺点，提出了一种