支持向量机学习总结( 持续更新)

按照统计学习里面的步骤对支持向量机进行一个小结。

>支持向量机学习三要素：

• 模型：支持向量机是一个二分类模型。
• 策略：间隔最大化是它的学习策略。（感知机有别去SVM, 主要体现在策略上。感知机是误分类驱动的，求得分类超平面，解不是唯一的；支持向量机利用间隔最大化求最有平面，解是唯一的）
• 算法：求解二次规划的最优化算法。

>支持向量机学习模型可分类：

• 线性可分支持向量机---硬间隔最大化
• 线性支持向量机---软间隔最大化
• 非线性支持向量机---核技巧及软间隔最大化  （核函数：核函数表示将输入从输入空间映射到特征空间得到的特征向量之间的内积；核技巧：通过核函数可以学习非线性支持向量机，等价于隐式地在高纬的特征空间中学习线性支持向量机。）

>>线性可分支持向量机：

• 输入空间是欧氏空间或离散集合，特征空间为欧氏空间或者希尔伯特空间，输入都由输入空间转换到特征空间，支持向量机的学习是在特征空间进行的。
• 希尔伯特空间是欧氏空间的推广，同时也是一个内积空间。
• 模型函数：sign（x）函数，x>0，sign（x）=1；x<=0，sign（x）=-1；超平面：wx+b=0；
• 明确函数间隔和几何间隔的概念：函数间隔说白了就是确定分类准不准，定性上的表示 y（wx+b）>0；几何间隔说白了就是确定准之后，还得多大程度的确定性，则需要一个定量上的距离，那么就是几何距离。（公式略）函数距离在法向量上的投影长度就是几何间隔的长度。
• 间隔最大化：先要将其所有点的几何间隔表示出来，那么最短的几何距离我们需要最大化。
• 凸优化二次问题：注意它的定义，min f(x)  s.t. g(w)<0;h(w)=0,
• 分离样本中的点与超平面最近的点，叫做支持向量。
• 学习的对