25、深度学习者泛化能力培养：偏差 - 方差权衡与模型调优

深度学习者泛化能力培养：偏差 - 方差权衡与模型调优

1. 偏差 - 方差权衡简介

在模型训练中，更强大的模型并不总是能在有限数据集上获得更好的预测精度，这就是偏差 - 方差权衡的核心要点。以多项式模型拟合较小训练数据集为例，其对未见过的测试数据的预测误差可能比简单线性模型更大，原因在于多项式模型需要更多数据才能避免被训练数据中的随机因素误导。

偏差 - 方差权衡指出，学习算法的平方误差可分为三个部分：
- 偏差（Bias） ：由模型的简化假设导致，即使模型有无限的训练数据，偏差也无法消除。例如，线性模型在拟合稍有弯曲的数据分布时，无论有多少数据，都无法精确拟合，对特定测试实例的预测总会在特定方向上存在误差。
- 方差（Variance） ：由于数据有限且模型参数较多，无法以统计稳健的方式学习所有参数而产生。高方差表现为模型过度拟合当前训练数据集，不同训练数据集对同一测试实例的预测差异较大。例如，多项式模型在不同训练实例下对同一测试点的预测差异很大，而线性模型的预测相对稳定。
- 噪声（Noise） ：由数据本身的固有误差引起。如散点图中的数据点与真实模型存在偏差，若没有噪声，所有数据点应与代表真实模型的曲线重合。

2. 偏差 - 方差权衡的正式数学表达

假设训练数据集的基础分布为 $B$，可从该分布生成数据集 $D$，即 $D \sim B$。分析师有一组 $t$ 个 $d$ 维的测试实例 $Z_1 \cdots Z_t$，其因变量为 $y_1 \cdots y_t$。因变量 $y_i$ 与特征表示 $Z_i$