机器学习数据处理全解析:从维度诅咒到数据准备
1. 维度诅咒
1.1 定义
维度诅咒由 Bellman 提出,用于描述在欧几里得空间中增加额外维度导致体积呈指数级增长所引发的问题。例如,在一维单位区间上,100 个均匀间隔的采样点就能使点与点之间的距离不超过 0.01;但在 10 维单位超立方体中,要达到相同的采样间隔,就需要$10^{20}$个采样点。从某种意义上说,10 维超立方体比单位区间“大”$10^{18}$倍。
1.2 背景
随着空间维度的增加,单位球体相对于单位立方体的体积会变得微不足道。这意味着在高维空间中,大部分空间都远离中心。在机器学习算法中,维度诅咒会带来诸多影响:
- 最近邻搜索效率 :对于低维数据,使用 R - 树、KD - 树等空间访问方法可以显著加快最近邻搜索速度。但对于高维数据,这些方法的性能会退化为简单的线性扫描。
- 数据量需求 :在机器学习问题中,维度的小幅增加通常需要数据量大幅增加,才能保持回归、聚类等任务的性能。
- 相似度概念失效 :在高维空间中,通常直观的接近或相似概念可能不再有实际意义。因为在高维空间中,物体与其最近邻和最远邻的距离之比趋近于 1,即所有物体之间的距离大致相等。
1.3 缓解方法
虽然有许多方法可以尝试缓解维度诅咒,如特征选择和降维,但目前还没有一种单一的解决方案能完全解决这个问题。
订阅专栏 解锁全文
354



被折叠的 条评论
为什么被折叠?



