SVM支持向量机系列理论（五）SVM中几种核函数的对比

核函数可以代表输入特征之间特殊的相似性。

5.1 线性核

形式：

$K(x, x') = x^T x '$

优点：

• 方案首选，奥卡姆剃刀定律
• 简单，可以求解较快一个QP问题
• 可解释性强：可以轻易知道哪些feature是重要的，

限制：只能解决线性可分问题

5.2 多项式核

形式：

$K(x, x') = (a + r \ x^T x'){^Q} \ a \geq0, r >0$

含有三个参数$(a, r ,Q )$，要注意$(a, r )$有范围的限制才成为一个一般的核函数。

优点：

• 可解决非线性问题
• 可通过主观设置Q来实现总结的预判

缺点：

• 对于大数量级的Q，不太适用，因为Q比较大时$(a + r \ x^T x') > 1$ 会导致K趋向一个很大的数。$(a + r \ x^T x') < 1$时，K趋向于0.

• 比较多的参数要选择$(a, r ,Q )$ ，比较困难

通常只用在已经大概知道一个比较小的Q的情况

5.3 高斯核

形式：

$K(x, x') = exp(- r \ ||x- x '||^2)$

优点：

• 可以映射到无限维
• 决策边界更为多样
• 只有一个参数，相比多项式核容易选择

缺点：

• 可解释性差(无限多维的转换，无法算w)
• 计算速度比较慢(解一个对偶问题)
• 容易过拟合(参数选不好时容易overfitting)