【防止过拟合的方法】

什么是过拟合/欠拟合？

无论在机器学习还是深度学习建模当中都可能会遇到两种最常见结果，一种叫过拟合（over-fitting ）另外一种叫欠拟合（under-fitting）。

所谓过拟合（over-fitting）其实就是所建的机器学习模型或者是深度学习模型在训练样本中表现得过于优越，导致在验证数据集以及测试数据集中表现不佳。也就是模型在训练数据上损失函数较小，预测准确率较高；但是在测试数据上损失函数比较大，预测准确率较低。
过拟合的本质原因是模型学习的太过精密，导致连训练集中的样本噪声也一丝不差的训练进入了模型。

所谓欠拟合（under-fitting），与过拟合恰好相反，模型学习的太过粗糙，连训练集中的样本数据特征关系（数据分布）都没有学出来。

深度学习有哪些防止过拟合的方法？

1. 参数范数惩罚： L1、L2正则化

正则化：把额外的约束或者惩罚项加到已有模型(损失函数)上，以防止过拟合并提高泛化能力。
L1正则化为：
$$||w|{|}_1=|w1|$$