机器学习总结（三）：SVM支持向量机（面试必考）

基本思想：试图寻找一个超平面来对样本分割，把样本中的正例和反例用超平面分开，并尽可能的使正例和反例之间的间隔最大。

算法推导过程：

（1）代价函数：假设正类样本y =wTx+ b>=+1,负类样本y =wTx+ b<=-1,两条边界之间的距离为2/||w||，最大化这个距离，应该最小化||w||，约束条件的目的是为了保证正类样本位于H₁右边，负类样本位于H₂左边，所以原始的代价函数就为：

函数间隔（functional margin）:

几何间隔（geometric margin）:

 

（2）对偶问题：引入拉格朗日乘子，可以得到以下拉格朗日函数:

求导：