23、支持向量机中的核技巧与正定核

支持向量机中的核技巧与正定核

1. 核技巧在支持向量机中的应用

在线性支持向量机（SVM）的对偶问题中，目标函数和决策函数（分离超平面）都仅涉及输入实例之间的内积。以对偶问题的目标函数为例，其中的内积 (x_i \cdot x_j) 可以用核函数 (K(x_i, x_j) = \phi(x_i) \cdot \phi(x_j)) 来替代。

此时，对偶问题的目标函数变为：
[
W(\alpha) = \frac{1}{2} \sum_{i=1}^{N} \sum_{j=1}^{N} \alpha_i \alpha_j y_i y_j K(x_i, x_j) - \sum_{i=1}^{N} \alpha_i
]

同样，分类决策函数中的内积也可以用核函数替换，分类决策函数变为：
[
\begin{align }
f(x) &= \text{sign} \left( \sum_{i=1}^{N_S} a_i^ y_i \phi(x_i) \cdot \phi(x) + b^ \right) \
&= \text{sign} \left( \sum_{i=1}^{N_S} a_i^ y_i K(x_i, x) + b^ \right)
\end{align }
]

这相当于通过映射函数 (\phi) 将原始输入空间转换到一个新的特征空间，把输入空间中的内积 (x_i \cdot x_j) 转换为特征空间中的内积 (\phi(x_i) \cdot \phi(x_j))。然后，在新的特征空间中从训练样本