20、线性可分情况下的线性支持向量机及硬间隔最大化

线性可分情况下的线性支持向量机及硬间隔最大化

1. 最大间隔分离超平面示例

考虑如下优化问题的约束条件：
[
\begin{cases}
3w_1 + w_2 + b \geq 1 \
4w_1 + 3w_2 + b \geq 1 \
- w_1 - w_2 - b \geq 1
\end{cases}
]
该优化问题的解为 (w_1 = w_2 = \frac{1}{2})，(b = -2)。此时，最大间隔分离超平面为 (\frac{1}{2}x^{(1)} + \frac{1}{2}x^{(2)} - 2 = 0)，其中 (x_1 = (3, 3)^T) 和 (x_3 = (1, 1)^T) 为支持向量。

2. 对偶学习算法

为解决线性可分情况下线性支持向量机的优化问题，可利用拉格朗日对偶性求解对偶问题，进而得到原问题的最优解。这种方法具有两个优点：一是对偶问题通常更容易求解；二是自然地引入了核函数，可将其扩展到非线性分类问题。

2.1 构建拉格朗日函数

对于每个不等式约束，引入拉格朗日乘子 (\alpha_i \geq 0)（(i = 1, 2, \cdots, N)），拉格朗日函数定义为：
[
L(w, b, \alpha) = \frac{1}{2} | w |^2 - \sum_{i = 1}^{N} \alpha_i y_i (w \cdot x_i + b) + \sum_{i = 1}^{N} \alpha_i
]
其中，(\alpha = (\alpha_1, \alpha_2, \cdots,