为什么会产生过拟合，有哪些方法可以预防或克服过拟合

为什么会产生过拟合，有哪些方法可以预防或克服过拟合？

什么是过拟合：

所谓过拟合（Overfit），是这样一种现象：一个假设在训练数据上能够获得比其他假设更好的拟合，但是在训练数据外的数据集上却不能很好的拟合数据。此时我们就叫这个假设出现了overfit的现象。

过拟合产生的原因：

出现这种现象的主要原因是训练数据中存在噪音或者训练数据太少。

预防或克服措施：

1、 增大数据量
2、 减少feature个数（人工定义留多少个feature或者算法选取这些feature）
3、 正则化（留下所有的feature，但对于部分feature定义其parameter非常小）
4、 交叉验证