15、机器学习中的数据处理与特征选择

机器学习中的数据处理与特征选择

在机器学习领域，数据处理和特征选择是至关重要的环节，它们直接影响着模型的性能和效率。本文将深入探讨不平衡数据集处理、异常检测以及特征子集选择等关键内容。

1. 不平衡数据集与异常检测

在许多神经科学应用中，不平衡数据集是常见的问题。例如，在ADNI数据集中，符合研究条件的MCI病例在MRI模式下几乎是AD患者的两倍，在蛋白质组学模式下是对照病例的六倍。从不平衡数据中构建准确的分类器是一项具有挑战性的任务，传统分类器往往会将所有数据分类到多数类别中。为了解决这个问题，出现了数据级策略和成本敏感策略。

1.1 数据级策略

数据级策略，也称为重采样策略，旨在改变训练数据的类别分布以实现平衡。这可以通过对多数类进行欠采样或对少数类进行过采样来完成。然而，随机重采样存在一些缺点。随机欠采样可能会丢弃有用的数据，而随机过采样可能会增加学习分类器所需的时间，并且如果过采样是通过生成现有实例的精确副本进行的，还会增加过拟合的风险。为了克服这些问题，合成少数过采样技术（SMOTE）应运而生，它有超过85种变体。但需要注意的是，SMOTE对大多数在高维数据上训练的分类器几乎没有效果。

1.2 成本敏感策略

成本敏感策略通过使用误分类成本来吸引分类器对少数类的关注。给定正确和错误预测的成本，实例会被预测为导致最低预期成本的标签，其中预期成本是使用每个类别在给定实例下的条件概率计算的。这种方法基于改变类别先验概率和误分类成本之间的等价性。

1.3 异常检测

异常检测是指在数据中寻找异常的问题。异常是观察到的世界中不寻常、意外、令人惊讶的模式。在神经科学中，异常的