偏差与方差

定义

• 偏差：真实值与预测值的误差大小
• 方差：预测值的离散程度
• 学习算法的（泛化）误差=偏差+方差+噪声

经典示意图：
注意图中所有点代表（同一个学习算法来自同一分布的不同训练数据集）不同模型对同一个样本的预测结果

• (1) Low Bias + Low Variance:理想
• (2) Low Bias + High Variance:过拟合时，往往偏差小、方差大
• (3) High Bias + Low Variance:欠拟合时，往往偏差大，方差小
• (4) High Bias + High Variance:刚开始拟合
• 随着模型复杂度的升高，偏差减小，方差增大，误差先减小后增大
  

原理

样本$x$真实标签为$y$，它在数据集$d$中的标签为$y_d$，基于数据集$d$训练的模型为$f_d(.)$，对样本$x$的预测值为$f_d(x)$，其中$d$是来自同一分布的任一训练集。

记$\overline{f(x)}=E_d(f_d(x))$，
定义偏差为
${Bias}^2=(\overline{f(x)}-y{)}^2$，
方差为
$Variance=E_d[(f_d(x)-\overline{f(x)}{)}^2]$，
噪声（且假设期望为0）为
${ϵ}^2=E_d[(y-y_d{)}^2]$，$E_d[(y-y_d)]=0$
泛化误差为
E r r o r = E d [ ( f d ( x ) − y d ) 2 ] Error=E_d[(f_d(x)-y_d)^2] Error=Ed​[(fd​(x)−y