22、支持向量机：线性与非线性分类的深入解析

支持向量机：线性与非线性分类的深入解析

1. 线性支持向量机与软间隔最大化

1.1 优化问题求解步骤

线性支持向量机在处理线性可分或近似可分的数据时，通过软间隔最大化来找到最优的分类超平面。具体步骤如下：
1. 求解最优解 $\alpha^*$ ：
- 目标是最小化以下函数：
[
\min_{\alpha} \frac{1}{2} \sum_{i=1}^{N} \sum_{j=1}^{N} \alpha_i \alpha_j y_i y_j (x_i \cdot x_j) - \sum_{i=1}^{N} \alpha_i
]
- 约束条件为：
[
\sum_{i=1}^{N} \alpha_i y_i = 0
]
[
0 \leq \alpha_i \leq C, \quad i = 1, 2, \cdots, N
]
- 求解得到最优解 $\alpha^ = (\alpha_1^ , \alpha_2^ , \cdots, \alpha_N^ )^T$。
2. 计算 $w^ $ 和 $b^ $ ：
- 计算 $w^ $：
[
w^ = \sum_{i=1}^{N} \alpha_i^ y_i x_i
]
- 选择 $\alpha_j^ $ 满足 $0 < \alpha_j^ < C$，计算 $b^ <