不容易产生过拟合的算法

最新推荐文章于 2024-11-28 20:21:06 发布

keepreder

最新推荐文章于 2024-11-28 20:21:06 发布

阅读量4.9k

点赞数 2

分类专栏：机器学习文章标签：数据挖掘 keepreder 过拟合 svm adaboost

本文链接：https://blog.youkuaiyun.com/keepreder/article/details/47280823

版权

1.SVM

首先，SVM有个L2正则项，在目标函数中加入这个对模型的规模进行了限制。L2正则为什么能保证控制过拟合，这里面就有个哲学思想，叫做奥卡姆剃刀法则，简单来说这个想法就是“能简单说的话，不要复杂的说”。L2正则项就能代表模型的复杂度，根据奥卡姆，如果同样效果那么越简单的模型泛化效果越好。所以最优化过程中尽量追求小的L2的值就会提高泛化能力，也就抑制了过拟合的问题。其次，会通过松弛变量的方法处理掉噪音。