35、数据建模与推断的关键概念解析

数据建模与推断的关键概念解析

1. 模型选择中的偏差 - 方差权衡

在数据建模过程中，当我们试图通过最小化均方误差来拟合模型并对其进行评估时，会出现一些问题。为了解决这些问题，我们可以采用训练 - 测试集分割的方法，即使用训练集来拟合模型，然后在预留的测试集上评估拟合好的模型。

需要注意的是，不能过度使用测试集，应在确定模型后再使用它。为了帮助我们确定合适的模型，还可以使用交叉验证，它模拟了数据划分为测试集和训练集的过程。并且，交叉验证应仅在训练集上进行，原始测试集应远离任何模型选择过程。

正则化则采用了不同的方法，它对均方误差进行惩罚，以防止模型过度拟合数据。在正则化中，我们使用所有可用的数据来拟合模型，但会缩小系数的大小。

1.1 偏差 - 方差权衡的概念

模型复杂度的增加会导致模型方差升高，即预测值 $\hat{f}$ 围绕真实值 $\bar{f}$ 的波动增大。这一概念被称为偏差 - 方差权衡，模型选择的目标就是平衡这两个导致模型拟合不足的因素。

欠拟合与模型偏差相关，过拟合则会导致模型方差增大。当模型复杂度增加时，模型偏差会减小，而模型方差会增大。从测试误差的角度来看，随着模型方差超过偏差的减小，测试误差会先减小后增大。因此，为了选择一个有用的模型，我们必须在模型偏差和方差之间找到平衡。

1.2 数据和特征对偏差与方差的影响

• 数据量 ：收集更多的观测值可以减少偏差，前提是模型能够准确拟合总体过程。如果模型本身无法对总体进行建模，即使有无限的数据也无法消除模型偏差。同时，收集更多的数据也可以降低方差。近年来，数据科