特征维度远大于样本量时候的过拟合问题

为什么特征维度远大于样本量会导致过拟合？

维度灾难

当特征维度远大于样本量时，会出现所谓的"维度灾难"(curse of dimensionality)。在高维空间中，数据变得非常稀疏，模型有太多的"自由度"来拟合这些稀疏的数据点。

举个简单的例子：

想象你只有2个点，要用一条直线拟合 -> 永远能完美拟合
如果有3个点，用一条二次曲线 -> 也能完美拟合
如果有n个点，用n-1次多项式 -> 同样能完美拟合

在我的案例中：

特征维度是402，意味着模型有402个参数可以调整
而只有160个样本来约束这些参数
这就给了模型太多的"自由度"来记忆训练数据的细节，包括噪声

过拟合的数学解释

在线性回归中，当特征数量p大于样本量n时：

方程组 $X\beta =y$ 变成欠定方程组
意味着存在无穷多个解能够使训练误差为零
模型会找到一个使训练误差最小的解，但这个解往往过度拟合了训练数据中的噪声

解决方案：

降维：如PCA，将402维降到比如20-30维
正则化：如L1、L2正则化，限制模型参数的大小
特征选择：选择最重要的频率点
增加训练样本：如果可能的话收集更多数据

一个经验法则是：样本量应该至少是特征维度的5-10倍，才能较好地训练模型。