16、支持向量机训练方法解析

支持向量机训练方法解析

1. 原 - 对偶问题基础

在支持向量机的训练中，原 - 对偶问题是一个重要的概念。存在如下关系：
[
\begin{cases}
A^T y - H x + z = c \
x_i \geq 0 \
z_i \geq 0
\end{cases}
]
其中 (y) 是 (n) 维对偶变量向量，(z) 是 (n) 维松弛变量向量。若 (x) 是原问题的最优解，((x, y, z)) 是对偶问题的最优解，则满足以下条件：
[
\begin{cases}
Ax = b \
A^T y - H x + z = c \
x_i z_i = 0 \
x_i \geq 0 \
z_i \geq 0
\end{cases}
]
这被称为原 - 对偶问题。

由于二次规划的原 - 对偶问题与线性规划的原 - 对偶问题相似，使用原 - 对偶内点法求解线性规划和二次规划问题时差异不大。

2. L1 支持向量机的优化条件推导

2.1 训练问题

L1 支持向量机的训练目标是最小化：
[
Q(\alpha) = - \sum_{i = 1}^{M} \alpha_i + \frac{1}{2} \sum_{i,j = 1}^{M} \alpha_i \alpha_j y_i y_j H(x_i, x_j)
]
约束条件为：
[
\begin{cases}
\sum_{i = 1}^{M} y_