支持向量机

支持向量机（SVM）：支持向量机算法既可以用来解决分类问题又可以用来解决回归问题，这里先写一些关于支持向量机用来解决分类的问题。

支持向量机用于分类的思想：假设现在有很多样本点，要将其分为正类和负类。支持向量机算法就是要寻找一个超平面将正负样本给分开。如果样本是可分的，那么必然有很多超平面可以将其分开。但是使得正负样本尽最大可能的分开（即正负样本之间的距离最大）的超平面只有一个，支持向量机的目标就是要找到这个唯一的最好的分离超平面。

如何去寻找这样的超平面？

因为最好的超平面是以最大置信度将正负样本分开的，即使得正负样本距离超平面的距离最大。那么首先应该考虑的问题就是应该如何来定义这个距离？假设我们已经知道超平面的表达式为y=WtX+b，那么可以用|WTx+b|的大小表示距离超平面的距离的大小。当WTx+b>0时，为正类，当WTx+b<0时，为负类。所以可以用y|WTx+b|>0,表示分类正确，且其值的大小表示分类的置信度。