偏差与方差

对学习算法除了通过实验估计其性能，人们往往还希望了解它“为什么”具有这样的性能。“偏差-方差分解”是解释学习算法泛化性能的一种重要工具。

对测试样本 $x$ ，令 $y_D$ 为 x 在数据集中的标记，$y$ 为 x 的真实标记，$f(x;D)$ 为训练集 $D$ 上学得模型 $f$ 在 x 上的预测输出。以回归任务为例，算法的期望预测为：

$$\overline{f}(x)=E_D[f(x;D)]\text{\hspace{1em}(1)}$$

使用样本数相同的不同训练集产生的方差为

$$var(x)=E_D[(f(x;D)-\overline{f}(x){)}^2]\text{\hspace{1em}(2)}$$

噪声为

$${ϵ}^2=E_D[(y_D-y{)}^2]\text{\hspace{1em}(3)}$$

期望输出与真实标记的差别称为偏差，

$$bia{s}^2(x)=(\overline{f}(x)-y{)}^2\text{\hspace{1em}(4)}$$

算法的泛化误差

$$E(f;D)=bia{s}^2(x)+var(x)+{ϵ}^2\text{\hspace{1em}(5)}$$

也就是说，泛化误差等于偏差，方差和噪声之和。

从公式中可以看出，偏差度量了算法的期望预测与真实结果的偏离程度，即刻画了算法本身的拟合能力；方差度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响；噪声表达了当前任务上任何学习算法所能达到的期望泛化误差的下界，即刻画了问题本身的难度。

偏差-方差分解说明，泛化性能由算法能力，数据充分性，任务本身难度所共同决定的。

一般，偏差和方差是有冲突的，称为偏差-方差窘境。

参考

周志华《机器学习》