14. 偏差-方差权衡

2.5 偏差-方差权衡

在根据训练数据拟合出预测函数后，通过分析该函数在测试实例处的损失期望值，可以获得关于预测误差的重要知识。下面基于叠加模型，对回归预测函数进行计算，其结论对分类同样适用。

设某回归问题的理论预测函数为f(X)，用训练数据集Z拟合的实际预测函数为 ，其在统计总体上的损失期望值称为泛化误差（Generalization error），或测试误差（Test error），是监督学习模型理论上的评价指标：

在上式中，损失函数在输入和输出的联合概率分布上取期望值，由于 的参数是根据特定的训练数据集Z估算的，所以取给定Z下的条件期望。若再考虑训练数据集的随机性，计算泛化误差在Z所服从分布上的期望值，则得到泛化误差期望值或预测误差期望值：

即