欠拟合、过拟合以及正则化

无论在深度学习还是奇迹学习建模当中都可能会遇到两种常见结果，一种是过拟合（over-fitting）,另外一种是欠拟合（under-fitting）.

过拟合与欠拟合的理解：

图1 欠拟合、正确拟合、过拟合线性回归的例子

图2 欠拟合、正确拟合、过拟合逻辑回归的例子

打个模型拟合的例子，假如需要建立一个识别狗狗的例子，需要对模型进行训练。

过拟合：

恰好训练样本中的所有训练图片都是二哈，那么经过多次迭代训练之后，模型训练好了，并且在训练集中表现很好。基本上二哈的所有特点都涵括进去，那么问题来了！假如我的测试样本是一只金毛呢？将一只金毛的测试样本放进识别狗狗的模型中，很有可能输出的结果是金毛不是一条狗（因为这个模型基本上都是按照二哈的特征去打造的）。所以这样就造成了模型过拟合，虽然在训练集上表现得很好，但是在测试集中表现的恰好相反，在性能的角度上是协方差（variance）过大，同样在测试集上的损失函数（cost function）会表现的很大。