SVM原理推导和SMO算法

第三次培训笔记

一、svm原理推导

svm原理用来解决二分类问题，使离超平面最近的点到该平面的距离最大化。

超平面是针对二分类问题，通过超平面将样本分为正类和负类，正类和负类的标签为yi,yi的取值只有+1和-1.取+1代表正类，取-1代表负类，这是一个判别模型。

通过使两类中离超平面最近点最大化的方式来确定超平面并求出超平面。

另一种理解最终导成一个有约束的一元二次方程，组求解时有限制，不是一个简单的一元二次方程组。引入拉格朗日乘子法。

运用的思想：将有n个变量与k个约束条件的最优化问题转化为一个有n+k个变量的方程组的极值问题。

对拉格朗日函数取最大，最优的情况就是等于原问题的目标函数。

用线性分类方法求解非线性分类问题分为两步：

1. 使用一个变换将原空间的数据映射到新空间。
2. 在新空间里用线性分类学习方法从训练数据中学习分类模型。