7、二分类支持向量机：L2软间隔、优缺点及解的特性

二分类支持向量机：L2软间隔、优缺点及解的特性

1. L2软间隔支持向量机

L2软间隔支持向量机（L2 SVM）在目标函数中使用松弛变量的平方和，而非线性和。其训练通过解决以下优化问题实现：
- 目标函数 ：
- 最小化 (Q(w, b, ξ) = \frac{1}{2}w^⊤w + \frac{C}{2}\sum_{i = 1}^{M}ξ_i^2)
- 约束条件为 (y_i (w^⊤φ(x_i) + b) \geq 1 - ξ_i)，其中 (i = 1, …, M)
- 这里，(w) 是 (l) 维向量，(b) 是偏置项，(φ(x)) 是将 (m) 维向量 (x) 映射到 (l) 维特征空间的映射函数，(ξ_i) 是 (x_i) 的松弛变量，(C) 是间隔参数。
- 引入拉格朗日乘子 ：
- 引入拉格朗日乘子 (α_i (\geq 0)) 后，得到 (Q(w, b, α, ξ) = \frac{1}{2}w^⊤w + \frac{C}{2}\sum_{i = 1}^{M}ξ_i^2 - \sum_{i = 1}^{M}α_i [y_i (w^⊤φ(x_i) + b) - 1 + ξ_i])
- 对于最优解，满足 (Cξ_i = α_i)，所以只要 (α_i) 非负，(ξ_i) 就非负。
- KKT条件 ：
- (\frac{\partial Q(w, b, α, ξ)}{\partial w} = w - \sum_{i = 1}^{M}y_i α_i φ(x_i) = 0)
- (\frac{\parti