57、支持向量机与稀疏向量机：原理、应用与比较

支持向量机与稀疏向量机：原理、应用与比较

1. 支持向量机（SVM）基础

支持向量机在处理大间隔二分类问题时，与硬间隔情况有相似之处，但约束条件不同。KKT 条件给出了相关约束：
- (0 \leq \alpha_n \leq C)
- (\sum_{n=1}^{N} \alpha_n \tilde{y}_n = 0)

其中，(\alpha_n) 的取值决定了数据点的状态：
- 若 (\alpha_n = 0)，则该点被忽略。
- 若 (0 < \alpha_n < C)，则 (\xi_n = 0)，点位于边界上。
- 若 (\alpha_n = C)，点可能位于边界内，根据 (\xi_n) 的值判断是否分类正确。

偏置项可通过以下公式计算：
(\hat{w} 0 = \frac{1}{|M|} \sum {n \in M} (\tilde{y} n - \sum {m \in S} \alpha_m \tilde{y}_m x_m^T x_n))
其中 (M) 是满足 (0 < \alpha_n < C) 的点的集合。

此外，还有一种软间隔 SVM 的替代形式，即 (\nu) - SVM 分类器，它通过最大化以下目标函数：
(L(\alpha) = -\frac{1}{2} \sum_{i=1}^{N} \sum_{j=1}^{N} \alpha_i \alpha_j \tilde{y} i \tilde{y}_j x_i^T x_j)
同时满足约束条件：
- (0 \leq \al