读书笔记（一）——支持向量机(SVM)朴素原理

http://www.ikeguang.com/

最近在学习分类算法支持向量机(SVM)，它是一种监督式学习算法。SVM算法是将原始数据特征转换至另一个高维度，并基于构建一个或多个超平面，使得训练数据中不同类别的数据得以尽可能的分开，同时该超平面需要尽可能地远离各类别中最靠近超平面的数据点。那么就有这样的疑问了：对于线性可分情况能不能像简单神经网络感知机那样找到一条直线将所有点分类？该超平面怎么定才为尽可能地远离各类别中最靠近超平面的数据点呢？什么情况下需要转换至高维度呢？

在神经网络的简单感知机模型里，简单感知机可以实现“逻辑与”预算，也就是线性分类，多个感知机并联也就是带有隐含层可以实现“逻辑异或”运算，也就是非线性分类，带有反馈型的BP神经网络更是强大。那么作为后起之秀的支持向量机确为什么可以表现的那么好呢，它们的工作机理又是怎样呢？

支持向量机的引入

比如我们有一些训练数据D = {Xi，