【机器学习】支持向量机SVM原理总结

【机器学习】支持向量机SVM原理总结

@(Machine Learning)

支持向量机涉及的知识点多，应用广泛，现在特别总结一下支持向量机SVM的基本原理，只涉及一些结论总结下SVM的基本思路思想和结论，详细的证明可以参考下面的References。

References：
《机器学习》 西瓜书_周志华
《统计学习方法》 李航

问题引入

这部分西瓜书上面说的比较简单，《统计学习方法》上面更加详细。

给定线性可分数据集，分离超平面为：

这里，w是平面的法向量，b是截距。

函数间隔与几何间隔

函数间隔的定义：

需要注意的是这里的yi取值只有+1和-1，+1表示xi为正例，-1表示xi为负例。
函数间隔的意义就是，看真实类标与预测类标的符号是否一致，一致的话就表示为正确分类。

对法向量的规范化，比如||w||= 1，使间隔是确定的话，函数间隔就成为几何间隔。
几何间隔的定义：

函数间隔和几何间隔的关系：