23、工程师统计学习入门：维度诅咒、模型与算法解析

工程师统计学习入门：维度诅咒、模型与算法解析

1. 维度诅咒与局部平滑

在统计学习中，我们常常需要对输入空间上的函数进行估计，以实现回归、预测或分类等任务。结果的质量很大程度上取决于训练数据的数量 $N$，数据越多，我们对数据生成过程的了解就越充分，也就越有可能找到更好的解决方案。然而，特征向量的维度 $d$ 同样至关重要。在给定样本量 $N$ 的情况下，维度 $d$ 越大，估计问题就越困难，这就是所谓的“维度诅咒”。

以局部平滑为例，对于核平滑器和局部线性估计，函数估计 $\hat{m}(x)$ 本质上仅依赖于那些与 $x$ 接近的 $X_j$。假设核函数 $K$ 在 $d$ 维空间上具有紧支撑，即只有当 $|u_i| \leq 1$（$i = 1, \ldots, d$）时，$K(u) \neq 0$，那么只有满足 $|x_i - X_{ji}| \leq 1$（$i = 1, \ldots, d$）的输入才会对 $x$ 处的估计产生影响。对于给定的 $N$，满足该条件的训练集观测数量会随着维度 $d$ 的增加而迅速减少。最终，对于大多数位置 $x$，例如 $\hat{m}_{NW}(x, h)$ 可能仅依赖于一个观测值，甚至没有观测值。

如果我们增加带宽 $h$ 以确保局部平均中有足够的数据，那么在高维度下 $h$ 必须非常大，这会导致类似于最近邻估计中讨论的问题。反之，如果我们希望在高维度下 $x$ 周围的数据密度与一维时相同，从而保证函数估计的质量相同，那么样本量大约需要从 $N$ 增加到 $N^d$，这很快就会变得难以实现。

最近邻估计会根据输入值的局部密度调整带宽，这在一定程度上掩盖了问题，因为它们总是能提供看起来合理的函数 $\hat{m} <