8、支持向量机的解的特性

支持向量机的解的特性

1. L1和L2支持向量机的等价性

当在L1和L2支持向量机中设置C = ∞时，通过求解以下优化问题可得到硬间隔支持向量机：
最大化
[Q(α) = \sum_{i = 1}^{M}α_i - \frac{1}{2}\sum_{i,j = 1}^{M}α_i α_j y_i y_j K(x_i, x_j)]
约束条件为
[\sum_{i = 1}^{M}y_i α_i = 0, α_i ≥ 0]

随着C趋近于无穷大，L1支持向量机的解会趋近于相关的L2支持向量机的解。具体情况如下：

1.1 可分分类问题

若问题可分，L1支持向量机有有限最优解：
[0 ≤ α_i < ∞, i = 1, …, M]
设
[C_{max} = \max_{i = 1, …, M}α_i]
对于L1支持向量机，当(C \in [C_{max}, ∞))时，解相同，支持向量无界且不变，最优超平面也不变。

1.2 不可分分类问题

若问题在特征空间中不可分，上述优化问题的解会无界发散。设(C_{max})和(C_{max}’)如前定义，当(C \in [\max(C_{max}, C_{max}’), ∞))时，L1和L2支持向量机的支持向量集相同。尽管随着C趋近于无穷大，(α_i)会趋近于无穷大，但根据定理2.9，权重向量会收敛到一个常向量。

示例2.5

考虑一个具有线性核的不可分情况。L1支持向量机的对偶问题为：
最大化
[Q(α) = α_1 + α_2 + α_3