偏差与方差(bias and variance) 在回归问题中,我们用一个简单的线性模型来拟合样本,称为线性回归,如图1;或者用更复杂,高维的函数来拟合,比如二次函数得到图2,六次函数得到图3. 我们可以看出来, 六次函数完美地拟合了六个点,误差为0.但是,当我们用这样的拟合模型来进行预测的时候,效果反而不好. 通过观察我们发现,二次的模型也许能够更好地拟合这些样本分布. 虽然1,3图都不能很好地拟合真实分布,但是他们的问题是很不一样的. 我们暂且称图1的问题为偏差(bias),图3的问题为方差(variance). 一般误差与经验误差 我们来定义如下几个概念:
本文深入探讨了偏差与方差在机器学习中的作用，介绍了经验风险最小化(ERM)和结构风险最小化(SRM)的概念。通过分析不同模型的偏差和方差，揭示了ERM的合理性和局限性，指出SRM是如何寻找折中的最优解决方案。
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
