模型正则化的作用

元学习论文总结||小样本学习论文总结

2017-2019年计算机视觉顶会文章收录 AAAI2017-2019 CVPR2017-2019 ECCV2018 ICCV2017-2019 ICLR2017-2019 NIPS2017-2019

参考：小结深度学习中的正则化

回顾过拟合
　　上一篇博客《浅谈机器学习中的过拟合》对过拟合进行了比较详细的分析。过拟合是指学习时选择的模型所包含的参数过多，以至于出现这一模型对已知数据预测的很好，但对未知数据预测的很差的现象。过拟合的是由数据和模型两方面原因共同造成的，最直接防止过拟合的方法是无限增大训练集的大小，让训练集样本与真实数据分布尽可能接近，但这么做实在是不太现实，一是我们根本无从知晓数据真实分布是什么样，二来增加数据集是一个很花费人力物力的而且不能保证效果的方法。所以比较常用的办法是正则化。

什么是正则化
　　在《Deep Learning》书中定义正则化为“对学习算法的修改——旨在减少泛化误差而不是训练误差”，《统计学习方法》中认为正则化是选择模型的一种方法。我个人比较倾向于后一种解释。在上一篇博客也提到了，模型可以看成是一个高维函数，当模型参数确定了，这个函数也就确定了。对于不同的模型参数，能得到千千万万个不同的模型，我们将这所有的可能得到的模型称之为假设空间。理想情况下，我们希望真实数据的生成过程也包括在这个假设空间中，然后我们只需要通过训练将代表该生成过程的一组模型参数找出来即可。然而，真实数据的生成过程几乎肯定在假设空间之外，我们做的事无非是从已有的假设空间中通过训练找到一个泛化能力优秀的拟合模型（即尽量匹配真实数据生成过程）。正则化可以帮助我们从假设空间中找到这样一个模型：训练误差较低，而且模型复杂度也较小。所以正则化是一种选择模型的方法。 
　　正则化的作用是选择经验风险与模型复杂度同时较小的模型。在实际深度学习场景中我们几乎总是会发现，最好的拟合模型（从最小化泛化误差的意义上）是一个适当正则化的大型模型。
 

参考：小结深度学习中的正则化中还介绍了几种正则化方法