统计学习中有一个重要概念叫做residual sum-of-squares
RSS看起来是一个非常合理的统计模型优化目标。但是考虑
RSS作为模型优化目标并不充分，因为即使k-NN在k=1时RSS=0，其泛化能力仍可能不佳。模型的泛化能力才是关键，而MSE更能反映这一能力，它由bias和variance组成。bias衡量模型逼近目标的平均程度，variance则反映面对不同训练集时模型的稳定性。过高bias表示匹配质量差，过高variance表示模型不具有一致性。过于简单的模型易导致高bias低variance，复杂模型可能导致高variance低bias。优化目标应平衡偏倚和方差，避免过拟合和欠拟合，如SVM和最大熵模型通过增加泛化能力降低模型复杂度。
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
