20、模式识别中的支持向量机分类器详解

模式识别中的支持向量机分类器详解

1. 最优间隔超平面

在模式识别中，我们希望构建的分类器能够最大化间隔，同时尽可能少地出现训练数据分类错误的情况。下面我们来推导计算最优超平面所需解决的优化问题。

假设给定一组示例((x_1, y_1), \cdots, (x_m, y_m))，其中(x_i \in \mathbb{R}^n)，(y_i \in {-1, 1})，且默认索引(i)从(1)到(m)。我们假设至少存在一个负的(y_i)和一个正的(y_i)。我们要找到一个决策函数(f_{w,b}(x) = \text{sgn}(\langle w, x \rangle + b))，满足(f_{w,b}(x_i) = y_i)。

如果这样的函数存在（不可分的情况稍后处理），规范性条件意味着(y_i(\langle x_i, w \rangle + b) \geq 1)。

一个能很好泛化的分离超平面可以通过解决以下问题来构建：
- 最小化(\frac{1}{2}|w|^2)
- 约束条件为(y_i(\langle x_i, w \rangle + b) \geq 1)，对于所有(i = 1, \cdots, m)

这被称为原始优化问题。

为了推导对偶问题，我们引入拉格朗日函数：
[
L(w, b, \alpha) = \frac{1}{2}|w|^2 - \sum_{i=1}^{m} \alpha_i (y_i(\langle x_i, w \rangle + b) - 1)
]
其中拉格朗日乘子(\alpha_i \geq 0)。

拉格朗日函数(L)