支持向量机

1.支持向量机常是二分类模型。对于二分类问题，主要是要找到一个合适的超平面，该超平面能将数据分成两类。如下图，对数据进行划分，超平面与最近的数据点间隔越大，鲁棒性就越好，因此，需要选择一个超平面能够最大化间隔。

 

2.函数间隔：gap=yf(x)，问题：当w、b同比例变化时，函数间隔也会改变，但超平面并没有变化，但间隔却变化了，所以这种间隔定义并不好。

3.几何间隔：几何间隔时点到超平面的距离。函数间隔不适合用来最大化间隔，几何间隔很合适。最大间隔的目标函数是：最大化1/||w||。

4.对偶问题：最大化1/||w||可以转化为最小化||w||^2，可以使用优化计算包求解，但由于SVM的特殊性，一般转化为对偶为题求解。

5.核函数：以上所说的超平面只能解决线性可分的问题，对于线性不可分的，我们需要使用核函数将其进行推广。一般对于低维不可分的可以进行升维，这里就用到核函数了，核函数可以直接计算隐式映射到高维特征空间的向量内积，低维计算，高维表现，避免了直接在高维空间无法计算的问题。

6.在实际数据存在噪声时，对支持向量机的泛化能力造成很大的影响，为了解决这个问题，我们允许一些数据点不满足约束，即可以在一定程度上偏移超平面，同时使不满足约束的数据点尽量少，引入正则项。