第三章 机器学习SVM算法总结
支持向量机简介
- 支持向量机(SVM)是一种有监督学习算法,不仅可以用于分类问题,也可用于回归问题
- 支持向量机理论的优点:对于含有大量特征属性的小样本有很强的鲁棒性、对于简单和复杂的分类模型都有很强的学习能力、如果采用复杂的数学模型可以避免过拟合现象
- SVM最主要的分类算法有C-SVC和v-SVC、最主要的回归算法有
-SVR和v-SVR
C-SVC算法
如果把二分类问题的两个分类用超平面分隔开,这个超平面可以表示为 H: , 这里
是向量
的权向量,b是偏移量。
如果记正样本,负样本
,则有
所以对于一个样本,我们可以用 来判断分类情况。
注意,此时的超平面可以有无数个,只要它足够将两类样本都分离开来,但是什么情况才是最佳的情况呢?就是要分类的确信度要尽量大的时候,也就是超平面距离两侧样本数据的间隔越大,这时的确信度就越大,SVC本质就是最大间隔分类器。
此