学习SVM过程思考过的问题

1、在低维空间和高维空间中遇到线性可分和不可分的问题应该如何解决？

在低维空间中的线性可分问题，可以直接用logistic回归解，当然也可以用SVM（没有用到核函数或者理解为用了线性核）；

在低维空间中的线性不可分问题，用SVM解，利用核函数将原（低维）空间映射到高维空间，但计算任然在原空间进行，降低了复杂度（任何一个低维空间中线性不可分的问题，映射到高维空间之后会更趋向于线性可分），当然也存在高维空间中线性不可分的情况，所以在SVM中存在一个松弛变量，这就解决了在高维空间中线性不可分的问题。

2、SVM如何解决多类问题？

第一直接法：这种方法对目标函数进行修改，将多个分类超平面的参数求解放到一个目标函数中，然后对目标函数最优化，直接求解得到多个超平面的参数。这种方法实现复杂，不常用。

第二间接法：通过组合多个二分类器来实现多分类问题，常用的方法有一对一（需要n*(n-1)/2个分类器）、一对多（需要n个二分类器）。

3、SVM中涉及的数学方面概念总结

线性函数：即一次函数

凸函数：如果函数二阶可导，则结果大于0的才是凸函数，如f(x) = x^2；一种不全面但是简单的理解方法：开口向上的函数

非线性规划：给定约束条件和目标函数，求极值问题。其中目标函数和约束条件至少有一个是非线性的

二次规划：是一种特殊的非线性规划，它的目标函数是二次函数，约束条件是线性的

凸规划：是一种特殊的非线性规划，它的目标函数是凸函数，比如f(x) = x^2。凸规划的局部最优值，一定是全局最优值

SVM最终就是转化成一个凸二次规划（目标函数是二次的、约束条件是线性的）问题求解的