HaiJaine的博客

机器学习期末复习资料

维度灾难（Curse of Dimensionality）是一个数学和机器学习中的术语，描述的是当数据的维度增加时，某些算法或计算方法的表现可能迅速恶化的问题。这种现象在高维空间中尤为明显，主要影响数据分析、优化问题、机器学习算法等领域。

通过特征选择，可以减少噪声，提高模型的泛化能力，使其在未知数据上的预测更加准确。你预测贷款违约，用随机森林模型训练后，发现“收入”和“信用分数”是最重要的特征，而“居住地”几乎没影响，直接剔除“居住地”。有时候数据中有很多“差不多”的特征，比如“房子的面积”和“房间的总大小”可能是高度相关的。在实际应用中，如边缘计算、嵌入式系统等场景中，特征的存储和处理能力受到限制，减少特征可以降低存储和实时计算的负担。较少的特征意味着更少的数据维度，可以显著减少计算开销，降低模型的复杂度，从而加快训练速度。