8、机器学习性能评估：偏差 - 方差分解与二元分类器评估工具

机器学习性能评估：偏差 - 方差分解与二元分类器评估工具

在机器学习中，模型性能的评估至关重要。本文将深入探讨偏差 - 方差分解以及二元分类器的额外评估工具，帮助大家更好地理解和优化模型。

1. 偏差 - 方差分解

在深入研究机器学习模型之前，我们先回顾一下偏差和方差的基本概念。假设我们要估计一个未知常数 $z_0$，有一个随机变量 $z$ 辅助我们进行估计。例如，$z_0$ 可以是物体的真实位置，$z$ 是带有噪声的 GPS 测量值。

• 偏差（Bias） ：定义为 $\bar{z} - z_0$，其中 $\bar{z} = E[z]$ 是 $z$ 的均值。偏差描述了无论重复多少次实验，$z$ 中始终存在的系统误差，就像 GPS 测量可能存在的偏移。
• 方差（Variance） ：定义为 $E[(z - \bar{z})^2] = E[z^2] - \bar{z}^2$。方差描述了每次实验结果的变化程度，即 GPS 测量中的噪声大小。

如果我们将 $z$ 和 $z_0$ 之间的期望平方误差作为评估 $z$ 作为估计器好坏的指标，可以将其重写为：
$E[(z - z_0)^2] = E[((z - \bar{z}) + (\bar{z} - z_0))^2] = E[(z - \bar{z})^2] + 2 (E[z] - \bar{z})(\bar{z} - z_0) + (\bar{z} - z_0)^2$
其中，$E[(z - \bar{z})^2]$ 是方差，$(\bar{z} - z_0)^2$ 是偏差的平方。