SVM学习笔记

这是一篇简单的学习总结，并无分享意义。参考资料有周志华老师的《机器学习》，七月在线冯老师的课，还有pluskid大牛的博客。

间隔可以用法向量$w$的模表示，间隔最大化等于$w$模的平方的最小化，这是一个凸二次规划问题。
这个凸二次规划问题的极小值可以通过其对偶问题的最大值解出。用拉格朗日乘子法得到对偶问题，拉格朗日函数对$w$求偏导使其为零得到$w$,再代入拉格朗日函数得到关于拉格朗日乘子$\alpha$的函数，对这个函数求极大值可以求出$\alpha$.
最终得到模型，发现一个新的样本加入后，求新样本跟支持向量的点积就可以求出label。

如果样本非线性可分，那么就需要映射到一个更高维的空间使其线性可分。设映射为$\phi$,类似地，我们需要计算$\phi(x_{i})^{T}\phi(x_{j})$,但是直接计算$\phi(x_{i})^{T}\phi(x_{j})$计算量太大。实际上我们不需要知道$\phi$的具体表达式，我们只需要知道$\phi(x_{i})^{T}\phi(x_{j})$的结果就行了。所以我们定义了一个核函数，表示两个映射之后的样本的点积。核函数有现成的表达式可选。核方法可用到其他将线性学习器拓展为非线性学习器。