5、支持向量机解的特性分析

支持向量机解的特性分析

1. L2 软间隔支持向量机目标函数

L2 软间隔支持向量机需要找到 $\alpha_i (i = 1, \cdots, M)$ 来最大化以下目标函数：
[
Q(\alpha) = \sum_{i = 1}^{M} \alpha_i - \frac{1}{2} \sum_{i,j=1}^{M} \alpha_i \alpha_j y_i y_j \left( H(x_i, x_j) + \frac{\delta_{ij}}{C} \right)
]
同时满足约束条件：
[
\sum_{i = 1}^{M} y_i \alpha_i = 0, \quad \alpha_i \geq 0, \quad i = 1, \cdots, M
]

2. 海森矩阵分析

2.1 L1 支持向量机海森矩阵

对于 L1 支持向量机，使用映射函数 $g(x)$ 重写目标函数为：
[
Q(\alpha) = \sum_{i = 1}^{M} \alpha_i - \frac{1}{2} \left( \sum_{i=1}^{M} \alpha_i y_i g(x_i) \right)^T \sum_{i=1}^{M} \alpha_i y_i g(x_i)
]
求解 $\alpha_s (s \in {1, \cdots, M})$ 可得：
[
\alpha_s = -y_s \sum_{i\neq s, i=1}^{M} y_i \alpha_i
]
将其代入目标函数得到 $Q(\alpha’)$： <