什么是过拟合?
过拟合(Overfitting)是指机器学习模型在训练数据上表现得过于优秀,但在新的、未见过的数据上表现较差的一种现象。简单来说,模型不仅学习到了数据的真实模式,还“记住了”训练数据中的噪声和偶然性,导致它无法很好地泛化到新数据上。可以把过拟合想象成一个学生死记硬背课本上的每一个例子,却无法灵活应对新问题。
过拟合的表现
- 训练误差低,测试误差高:模型在训练集上预测非常准确,但在测试集或新数据上的错误率明显上升。
- 模型过于复杂:例如,决策树分支过多、神经网络层数过深,或者多项式回归的阶数过高。
- 对噪声敏感:模型对训练数据中的微小变化反应过度,无法适应新数据的差异。
过拟合的原因
- 模型复杂度过高:模型参数过多,过于灵活,能够拟合训练数据中的每一个细节,包括噪声。
- 训练数据不足:数据量少时,模型容易记住数据的偶然特征,而不是学习通用的规律。
- 特征过多:特