处理过拟合问题

1 定义

过拟合是指，对训练数据拟合很好，但对测试数据拟合很差。

2 产生原因

为什么会产生过拟合？主要有几个原因：
1.训练数据量过小，使得模型过分关注噪声；
2.训练过久，使得模型过多地学习噪声；
其中噪声包括没有代表的样例和没有代表的特征。

3 解决办法

1 增大训练数据量

2 适当停止迭代

3 交叉验证，获得较有代表训练数据集

4 正则化目标函数

通过正则化项，减少目标函数与实际数据的过度吻合，提高系统的泛化能力。

下面的这项就是一个正则化项

并且 λ 在这里我们称做正则化参数。
λ 要做的就是控制在两个不同的目标中的平衡关系。

在正则化线性回归中，如果正则化参数值 λ 被设定为非常大，那么将会发生什么呢？
我们将会非常大地惩罚参数θ1 θ2 θ3 θ4 … 也就是说，我们最终惩罚θ1 θ2 θ3 θ4 … 在一个非常大的程度，那么我们会使所有这些参数接近于零。