34、支持向量机分类的深入解析

支持向量机分类的深入解析

1. 支持向量机的数学表达

在支持向量机（SVM）的研究中，存在一个 $N \times N$ 的矩阵，其对角元素来自向量 $y$，同时有矩阵 $X \in R^{N \times D}$，它是通过拼接所有示例得到的。对于 SVM 的对偶形式（12.41），我们可以进行一系列的项收集操作。为了将对偶 SVM 表示为标准形式，首先需要定义核矩阵 $K$，使得其每个元素 $K_{ij} = k(x_i, x_j)$。若存在明确的特征表示 $x_i$，则定义 $K_{ij} = \langle x_i, x_j \rangle$。为了方便表示，引入一个除对角线外元素全为零的矩阵 $Y = diag(y)$，其中对角线上存储标签。此时，对偶 SVM 可以写成如下形式：
[
\begin{align }
\min_{\alpha} &\frac{1}{2}\alpha^{\top}YKY\alpha - 1_{N,1}^{\top}\alpha \
\text{subject to} &\begin{bmatrix}
y^{\top} \
-y^{\top} \
-I_N \
I_N
\end{bmatrix}\alpha \leq
\begin{bmatrix}
0_{N + 2,1} \
C1_{N,1}
\end{bmatrix}
\end{align }
]

在处理对偶 SVM 的约束条件时，由于在之前的研究中，约束的标准形式通常为不等式约束，所以将对偶 SVM 的等式约束表示为两个不等式约