10、支持向量机：非线性与软间隔分类器深入解析

支持向量机：非线性与软间隔分类器深入解析

1. 非线性支持向量机

在寻找最优拉格朗日乘子 $\alpha^*$ 时，我们可以用任何合适的核函数来替换表达式 $k(x_i, x_j)$。不过，训练算法和模型中使用的核函数必须一致。需要注意的是，约束条件 $\sum_{i=1}^{n} y_i\alpha_i = 0$ 和 $\alpha_i \geq 0$（$i = 1, \ldots, l$）不受核技巧的影响，这些约束在我们所使用的任何特征空间中都必须成立。

1.1 特征搜索

支持向量机模型可以用核函数 $k(x, y) = \Phi(x) \cdot \Phi(y)$（$x, y \in R^n$）重写为：
$\hat{f}(x) = sgn\left(\sum_{i=1}^{l} \alpha^ _i y_i k(x_i, x) - b^ \right)$

训练算法也可以用核函数表示为：
$\alpha^* = \arg\max_{\alpha} \left(\sum_{i=1}^{l} \alpha_i - \frac{1}{2} \sum_{i=1}^{l} \sum_{j=1}^{l} \alpha_i \alpha_j y_i y_j k(x_i, x_j)\right)$，同时要满足相应的约束条件。

我们可以根据分类问题的需求自由选择核函数。例如：
- 若分类问题的训练集是线性可分的，可考虑线性核 $k(x, y) = x \cdot y$，因为使用线性核的支持向量机算法在输入空间中会产生线性决策面。
- 若分类问题在输入空间中涉及二次决策面，可选择二次多项式核