ML12偏差与方差

偏差与方差的计算公式

• 记在训练集 D 上学得的模型为:

  $$f(\mathbf{x};D)$$

• 模型的期望预测为:

  $$\hat{f}(\mathbf{x})={\mathbb{E}}_D[f(\mathbf{x};D)]$$

• 偏差（Bias）

  $bia{s}^2(\mathbf{x})=(\hat{f}(\mathbf{x})-y{)}^2$

• 方差（Variance）

  $$var(\mathbf{x})={\mathbb{E}}_D\left[{\left(f(\mathbf{x};D)-\hat{f}(\mathbf{x})\right)}^2\right]$$

  方差度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响（模型的稳定性）；

• 噪声则表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界，即刻画了学习问题本身的难度。

• “偏差-方差分解”表明模型的泛化能力是由算法的能力、数据的充分性、任务本身的难度共同决定的。

偏差与方差的权衡（过拟合与模型复杂度的权衡）

• 给定学习任务，

  • 当训练不足时，模型的拟合能力不够（数据的扰动不足以使模型产生显著的变化），此时偏差主导模型的泛化误差；
  • 随着训练的进行，模型的拟合能力增强（模型能够学习数据发生的扰动），此时方差逐渐主导模型的泛化误差；
  • 当训练充足后，模型的拟合能力过强（数据的轻微扰动都会导致模型产生显著的变化），此时即发生过拟合（训练数据自身的、非全局的特征也被模型学习了）

• 偏差和方差的关系和模型容量（模型复杂度）、欠拟合和过拟合的概念紧密相联
  

  • 当模型的容量增大（x 轴）时， 偏差（用点表示）随之减小，而方差（虚线）随之增大
  • 沿着 x 轴存在最佳容量，小于最佳容量会呈现欠拟合，大于最佳容量会导致过拟合。