本文深入解析机器学习中偏差与方差的概念，探讨其与过拟合、欠拟合的关系，以及如何调整模型以平衡二者，实现最佳泛化能力。
偏差(Bias)与方差(Variance)
记协变量为 X X X，预测变量为 y y y，设 X X X和 y y y之间的关系可通过模型 y = f ( X ) + ϵ y=f(X)+\epsilon y=f(X)+ϵ，其中误差项 、 ϵ 、\epsilon 、ϵ服从均值为0的正态分布，即 ϵ ∼ N ( 0 , σ ϵ ) \epsilon\sim\mathcal{N}(0,\sigma_\epsilon) ϵ∼N(0,σϵ)。
设通过某个统计模型得到 f ( X ) f(X) f(X)的估计为 f ^ ( X ) \hat{f}(X) f^(X)，在点 x x x处的均方预测误差（泛化误差）定义为，模型在点 x x x的预测值 f ^ ( x ) \hat{f}(x) f^(x)与真实值 y y y差值平方的期望，即： M S E ( x ) = E [ ( f ^ ( x ) − y ) 2 ] MSE(x)=E[(\hat{f}(x)-y)^2] MS
最低0.47元/天 解锁文章
扫一扫
7428
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
