11、模型选择与维度灾难：挑战与应对策略

模型选择与维度灾难：挑战与应对策略

1. 引言

在多项式曲线拟合的贝叶斯处理中，使用一个 9 阶多项式，固定参数 $\alpha = 5 \times 10^{-3}$ 和 $\beta = 11.1$（对应已知的噪声方差），会得到一个预测分布。其中，红色曲线表示预测分布的均值，红色区域对应均值周围的 $\pm1$ 标准差。

2. 模型选择

2.1 模型复杂度的控制因素

在多项式曲线拟合的示例中，我们发现存在一个最优的多项式阶数，能实现最佳的泛化效果。多项式的阶数控制着模型中自由参数的数量，进而决定了模型的复杂度。对于正则化最小二乘法，正则化系数 $\lambda$ 也会控制模型的有效复杂度。而对于更复杂的模型，如混合分布或神经网络，可能有多个参数控制复杂度。

在实际应用中，我们需要确定这些参数的值，主要目标通常是在新数据上实现最佳的预测性能。除了在给定模型中找到合适的复杂度参数值，我们可能还希望考虑一系列不同类型的模型，以找到最适合特定应用的模型。

2.2 最大似然方法的局限性

我们已经知道，在最大似然方法中，训练集上的性能并不是未见过数据预测性能的良好指标，这是由于过拟合问题。如果数据充足，一种方法是使用部分可用数据来训练一系列模型，或使用不同复杂度参数值的给定模型，然后在独立数据（有时称为验证集）上进行比较，选择预测性能最佳的模型。

如果使用有限大小的数据集多次迭代设计模型，可能会出现对验证数据的过拟合，因此可能需要保留一个测试集，最终在该测试集上评估所选模型的性能。

2.3 交叉验证方法

在许多应用中，用于训练和测试的数据供应有限，为了构建良