23、支持向量机批量训练与主动集训练方法详解

支持向量机批量训练与主动集训练方法详解

1. 精确增量训练实现批量训练

精确增量训练的核心思想源于Cauwenberghs和Poggio，其通过增量更新支持向量集并求解线性方程组。后续该方法被进一步分析并扩展到批量训练。Hastie等人还提出了全路径方法，从初始解出发获取不同边际参数值的解。

1.1 KKT条件总结

在支持向量机训练中，需要解决如下优化问题：
- 目标函数：
- 最小化 (Q(w, ξ) = \frac{1}{2}||w||^2 + C^p \sum_{i=1}^{M} ξ_i^p)
- 约束条件：(y_i (w^Tφ(x_i) + b) \geq 1 - ξ_i)，(i = 1, …, M)
其中，(w) 是权重向量，(φ(x)) 是将 (m) 维输入向量 (x) 映射到特征空间的函数，(b) 是偏置项，((x_i, y_i)) 是 (M) 个训练输入 - 输出对，(C) 是边际参数，(ξ_i) 是 (x_i) 的非负松弛变量，(p = 1) 对应L1支持向量机，(p = 2) 对应L2支持向量机。

引入拉格朗日乘子 (α_i) 后，得到L1和L2支持向量机的对偶问题：
- L1支持向量机 ：
- 最大化 (Q(α) = \sum_{i=1}^{M} α_i - \frac{1}{2} \sum_{i,j=1}^{M} α_iα_j y_i y_jK(x_i, x_j))
- 约束条件：(\sum_{i=1}^{M} y_i α_i = 0)，(0 \leq α_i \leq C)，(i = 1, …, M)
-