机器学习之支持向量机(SVM)

支持向量机算法在深度学习没有火起来的2012年前，在机器学习算法中可谓是霸主地位，其思想是在二分类或者多分类任务中，将类别分开的超平面可能有很多种，那么哪一种的分类效果是最好的呢？这里引入了支撑向量的概念，我们总可以在几个类别的分界面处找到类别的一些样本点，以这些样本点的中垂线为平面的这个分界面可以使得类别中的点都离分界面足够远，那么这个平面就是最理想的分割超平面。

注意：SVM顾名思义，该算法只用到了一些支撑样本将两类或者多类样本分开的~~

SVM分为线性可分SVM,线性SVM和非线性SVM，后两者用到了核函数。

一、SVM中的数学：

1.凸优化

2.核函数

3.拉格朗日乘子法：参考这份材料，比较通俗易懂 http://mp.weixin.qq.com/s/tDLNy-u7cNRGkExRqPVUkg

二、SVM公式推导

基本定义(以二分类为例)：

分割平面：，是特征空间转换函数，简单地，=X

目标值属于{-1,1}，通过si