数据科学爱好者

什么是过拟合？从训练样本中尽可能学出适用于所有潜在样本的“普遍规律”，这样才能在遇到新样本时做出正确的判别。然而，当学习器把训练样本学得“太好”了的时候，很可能已经把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质，这样就会导致泛化性能下降。这种现象在机器学习中称为“过拟合”（overfitting）。与过拟合相对的是“欠拟合”（underfitting），这是指对训练样本的一般性质尚未...

简介在之前的博客里介绍了常见的防止过拟合的方法,这次主要就其中的L1、L2正则化方法进行介绍并比较它们的不同。我们使用L1、L2正则化方法的目的，在于减缓机器学习中的过拟合现象。为什么它们能减缓过拟合现象呢，由于正则项的加入，使得权重矩阵的值减小，因为它假定一个拥有更小权重矩阵的神经网络将产生更简单的模型，进而在一定程度上能减缓过拟合。在L1和L2中，所采用的正则化项是不同的。...