向量机和感知机的相同和不同点_[分类] 感知机和支持向量机 (perceptron & SVM)

感知机是一个线性分类器，是向量机的基础。

为了方便叙述，仅考虑2维问题。如果数据是线性可分的话，那么一定存在一些线

，使得线的两侧是两个不同的类。

1. 感知机模型：

Y={1,-1},如果

，则预测

;如果

，则预测

。所以，如果出现误分类的话，

。

在这个模型中，我们的目标是将误分类点的个数->0,所以其实是在最小化一下这个loss function：

min

,其中M是误分类点的index，用一些最优化方法可以解得：

;

但感知机模型有一些问题：

如果一个平面线性可分的话，那一定存在不止一条的线可以划分这个平面，但我们显然是想要找到一条最好的

如果这些点线性不可分，那这个算法可能不会收敛

为了解决问题1，我们想在模型1的基础上加一些条件限制，于是有了hard-margin SVM:

2.Hard-Margin SVM

hard-margin SVM是在寻找一条线性分割线的同时，找到一个可以最大间隔超平面的线。

令

,如果点

<