机器学习---背后数学原理--SVM

1. 建立思想
2. 将思想转化为数学表达式（数学模型）
3. 这个数学模型就是一个优化问题，求解这个优化问题即可。（梯度下降，EM算法，等等其他）

SVM思想及其数学模型

SVM有三宝：间隔，对偶，核技巧
SVM分三类:

1. hard-margin SVM
2. soft-margin SVM
3. kernel SVM

SVM的中心思想：

用数学模型来表示SVM的中心思想

下一步，就是要用数学公式表示出 margin(w, b)
具体思路可见
https://blog.youkuaiyun.com/MosBest/article/details/52017312
得出 margin(w,b) 是

所以，公式变成


以上就是我们得到的关于 SVM思想的最佳数学模型。
很显然，这是一个典型的凸优化问题。




在本模型中：限制条件为 线性，最优化的是二次函数

SVM是一个强对偶问题，则就有

即，就有


最终的就是：

讨论支持向量与w,b的关系