24、支持向量机训练方法解析

支持向量机训练方法解析

1. L2支持向量机优化问题

对于L2支持向量机，与支持向量 $x_i$（$i \in S$）相关的 $\xi_i$ 为正。相关优化问题可表示为：
最小化 $Q(\beta’ S) = c_S^T \beta’_S + \frac{1}{2}\beta’_S^T K_S \beta’_S$
其中，$K_S$ 是 $(|S| + 1) \times (|S| + 1)$ 矩阵，$c_S$ 是 $(|S| + 1)$ 维向量，具体计算如下：
- $c {Si} = -C \sum_{k \in S} y_k K(x_k, x_i)$，$i \in S$
- $c_{Sb} = -C \sum_{i \in S} y_i$
- $K_{Sij} = K(x_i, x_j) + C \sum_{k \in S} K(x_i, x_k)K(x_k, x_j)$，$i, j \in S$
- $K_{Sib} = C \sum_{j \in S} K(x_i, x_j)$，$i \in S$
- $K_{Sbb} = C |S|$

求解 $\frac{\partial Q}{\partial \beta’_S} = 0$，可得最优解 $\beta’_S = -K_S^{-1} c_S$。需注意，$K_S$ 是半正定矩阵。若 $K_S$ 奇异，通常会在对角元素上加一个小值，但这会增加支持向量的数量，因此我们从工作集中删除导致矩阵奇异的数据。

2. 原始和对偶支持向量机训练对比

2.1 原始支持向量机训练

原始支持向量机训练方法与Ch