【机器学习】过拟合问题

欠拟合(Underfitting)也叫高偏差，是指我们的假设模型与训练样本之间的映射效果不好，通常可能的原因是模型太简单，或者我们所用到的参数太少。
另一个极端过拟合(Overfitting)是指与训练样本拟合地非常好，但是却对新数据的预测效果不好。可能的原因是我们选择了过于复杂的模型。
下面用Andrew Ng的两幅图来表示欠拟合和过拟合在线性回归和逻辑回归中的效果：


那么如何解决过拟合问题呢？主要有两种方法：
第一种，减少多余的参数。
第二种，正则化(Regularization)。
我们主要讲一下正则化。正则化方法是指向原始模型引入额外的信息，以便防止过拟合的一类方法的统称。一般分为L1正则化和L2正则化。本文讲的是L2正则化方法。
L2正则化是指在目标函数$J(\theta )$后加一个惩罚项，使得权重更加接近于原点。
具体公式为:
$$J(\theta )=\frac{1}{2m}[\sum _{i=1}^{m}Cost(h_{\theta }(x^{(i)}),y^{(i)})+\lambda \sum _{j=1}^n{\theta }_j^2]$$
其中 λ ∑ j = 1 n