理解机器学习中的偏差与方差

所谓高偏差，意思是训练集误差（train error）和验证集误差（cv error）都很大。高偏差意味着模型太简单了，不足以准确描述实际的数据分布，对应“欠拟合”（underfit）。这时，即便增大训练数据集的量，也不会带来训练误差的减小。
高偏差对应下图左侧的简单模型，d=1表示只有一维特征。

而高方差时，训练集误差小，但验证集误差很大。模型在训练集和验证集上的表现不一致，对应“过拟合”（overfit）。高方差意味着模型足够复杂，但学习得过头了，让一些噪声数据过度影响模型分布，使得模型反而不能反映实际的数据分布。

以前我不是很理解偏差、方差的直观意思，现在有一点懂了。偏差是对模型拟合准确性的衡量，是用来评价模型预测结果与实际样本的误差幅度。方差则是对模型泛化性能的衡量，模型足够复杂能够有效拟合训练数据，但很多都是对噪点的拟合，导致对验证集样本的预测不够准确。高方差时，训练样本每变化一些模型参数会发生比较剧烈的变化；而低方差时，训练样本的变化不会导致模型参数发生剧烈的变化。