机器学习理论篇之SVM（python实现）

SVM就是试图寻找能将训练样本区分开的最优划分超平面，直观上我们可以看出H3才是做好的，到样本两边距离相等且最大，，这里的最好是划分的超平面对训练样本的“容忍性”最好。。。

在样本空间中，划分的超平面可以用如下方程来描述：

 W（T）x+b=0，

其中，w位法向量，决定里超平面的方向，b为位移项，决定了超平面与原点的距离。

我们这次使用的结果标签是y=-1,y=1，替换在logistic回归中使用的y=0和y=1。同时将替换成w和b。以前的，其中认为。现在我们替换为b，后面替换为（即）。这样，我们让，进一步。也就是说除了y由y=0变为y=-1，只是标记不同外，别的与logistic回归的形式化表示没区别。

    再明确下假设函数

    上面提到过我们只需考虑的正负问题，而不用关心g(z)，因此我们这里将g(z)做一个简化，将其简单映射到y=-1和y=1上。映射关系如下：

样本空间中任意点x到超平面的（W,b）的距离可以写为：

参考：

那如何寻找超平面，确定w和b呢？答案是寻找两条边界端或极端划分直线中间的最大间隔（之所以要寻最大间隔是为了能更好的划分不同类的点。

Hard-margin：（无噪声点情况，硬分隔）

        如果训练数集是线性可分的，我们可以选择两个平行的线，来分开两个数据集，因此我们要确保，这两条平行线的距离尽可能的大，两条平行线组成的区域就是叫做Margin

我们可以定义分类函数：

显然，如果 f(x)=0 ，那么 x 是位于超平面上的点。我们不妨要求对于所有满足 f(x)<0 的点，其对应的