机器学习面试常考知识之如何防止过拟合

过拟合简单来说就是模型对数据拟合过度

过拟合：根本原因是特征维度过多，模型假设过于复杂，参数过多，训练数据过少，噪声过多，导致拟合的函数完美的预测训练集，但对新数据的测试集预测结果差。 过度的拟合了训练数据，而没有考虑到泛化能力。

过拟合主要是有两个原因造成的：数据太少+模型太复杂 ，因此在防止过拟合问题上也主要从数据和模型两个角度上进行解决。

1）数据的角度：导致过拟合的主要的原因就是数据量不足，使得模型对数据拟合过度，因此增加数据量是防止过拟合的重要手段。如图象中就常使用到数据增强的技术，目的就是增加数据量，防止过拟合，提高模型的泛化能力。

2）模型的角度：当数据量无法扩充，模型仍然处于过拟合，那么需要从模型的角度进行处理。通过降低模型的复杂度降低模型对数据的拟合程度。不同类别的模型可以采用不用的方法，

a) 决策树可以通过剪枝（预剪枝、后剪枝）和提前终止训练；

b)神经网络可以减少网络的层数、神经元个数等均可以限制网络的拟合能力，在图象处理可以加入dropout（神经网络回归不建议使用dropout）;

c) 使用正则化（L1正则化、L2正则化），在训练的时候限制权值范围；

d) 增加噪声 Noise： 输入时+权重上（高斯初始化） ；

e) 结合多种模型：使用集成的方法（bagging、boosting）等等