SunnyFridayZZ的博客

原创 加入正则化项是如何减少过拟合的

过拟合时加入正则化项为什么能减少过拟合，提高模型泛化能力？ 要降低模型的复杂度，来获得模型更好的泛化能力。而降低模型的复杂度有两条路径：一是进行降维，进行特征约减，这样可以减少模型参数的个数。二是对参数进行约束。使得参数的取值范围减少。而第二种方法就是加正则项。 增加了正则项之后，新的模型的假设空间会受到限制，此时模型的VC维会变小，也就是模型的泛化能力更强。 怎么做到的？ 正则化（Regularization）包括L1、L2（L2 regularization也叫weight decay权重衰