过拟合

最新推荐文章于 2025-09-07 20:32:33 发布

转载最新推荐文章于 2025-09-07 20:32:33 发布 · 69 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/zhizhan/p/4535602.html

文章标签：

#数据结构与算法 #人工智能

本文探讨了SVM（支持向量机）如何在具备强大描述能力的同时也易发生过拟合现象。通过解释过拟合的概念及SVM中最小化||W||的作用，文章进一步说明了正则化如何帮助SVM对抗过拟合，并比较了SVM与其他模型如RandomForest、AdaBoost等在过拟合方面的表现。

SVM当然会过拟合，而且过度拟合的能力还非常强。
首先我想说说什么叫过度拟合？
就是模型学岔路了，把数据中的噪音当做有效的分类标准。
通常越是描述能力强大的模型越容易过度拟合。描述能力强的模型就像聪明人，描述能力弱的如：”一次线性模型“像傻子，如果聪明人要骗人肯定比傻子更能自圆其说对不对？
而SVM的其中一个优化目标：最小化||W||，就是抑制它的描述能力，聪明人是吧，只允许你用100个字，能把事情说清楚不？这就是为什么regularization能够对抗过度拟合，同时它也在弱化模型的描述能力。但只要能说话就能说谎，就能歪曲事实对不对？
只有少数几种模型有抗过拟合的能力如Random Forrest，AdaBoost等
别把SVM想得太复杂，你就可以把它当做一个线性分类器只不过它优化了分类平面与分类数据之间距离。
把下面这三节课耐心的听完，对过拟合和SVM的理解就会心有所悟了。
加州理工学院公开课：机器学习与数据挖掘_LA___Lecture 12_ [ Regularization ]_网易公开课
 加州理工学院公开课：机器学习与数据挖掘_NA___Lecture 14_ [ Support Vector Machines_网易公开课
 加州理工学院公开课：机器学习与数据挖掘_OA___Lecture 15_ [ Kernel Methods ]_网易公开课

转载于:https://www.cnblogs.com/zhizhan/p/4535602.html