机器学习：经验风险最小化与 Bias-Variance 贸易-off-优快云博客

本文深入探讨机器学习中的经验风险最小化（ERM）策略，解释欠拟合与过拟合的概念，并通过差异（Bias）与波动（Variance）的平衡来理解模型性能。联合界定理和霍弗丁不等式作为理论工具，帮助我们理解泛化误差的上下界。最后，讨论有限假设集情况下，ERM算法的泛化误差上界和采样复杂度。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

差异与波动平衡 Bias/Variance Tradeoff

我们在之前的课程中已讲到，选择不合适的模型进行拟合会导致欠拟合（Underfitting）和过拟合问题（Overfitting），在这一讲中，我们将针对这一问题，给出更深度的讨论。直观而言，欠拟合来自于“简单”的模型，而过拟合来自于“复杂”的模型，如下图所示

正如我们之前讨论的那样，如右图那样对训练集精确拟合的高阶函数，在对测试集进行处理时依然存在较大的误差，这一误差称为泛化误差Generalization Error，对应的，与训练集产生的误差称为Training Error。上图中左右两幅图都有巨大的泛化误差，但很明显它们具有不同的产生原因。

如左图所示，我们称差异BIas为尽管拟合了更大规模训练集也会产生的泛化误差的期望，这是欠拟合的表现。泛化误差的另一部分来自于波动Variance，如右图所示，即由于过于追求细节而没有反映出更广泛的模式。

一般而言，这两种误差都是不可避免的，如果我们选择了过少的参数来表达模型，我们的模型会比较“简单”，这样会产生差异Bias；如果我们选择了过多的参数，我们的模型会比较“复杂”，这样会产生波动Variance。在上图中，二次函数较好的表现了训练集的模式，我们可以认为其达到了一个较好的平衡，当应注意，其依然存在差异和波动。