8、最大间隔分类器与支持向量机详解

最大间隔分类器与支持向量机详解

1. 最大间隔分类器

在处理线性可分的训练集时，最大间隔分类器是一种有效的方法。对于给定的线性可分训练集 $D = {(x_1, y_1), (x_2, y_2), \ldots, (x_l, y_l)} \subseteq R^n \times {+1, -1}$，我们的目标是计算一个最大间隔的决策面 $w^ \cdot x = b^ $。

首先，我们可以将约束条件写得更紧凑：
$w \cdot (y_ix_i) \geq 1 + y_ib$，对于所有的 $(x_i, y_i) \in D$。

这个约束条件表明，所有训练集的点都会产生约束，并且这些约束定义了可行区域，即在优化过程中，只有满足这些约束的决策面才会被考虑。

我们的优化问题可以表示为：
$\min \varphi(w, b) = \min_{w,b} \frac{1}{2}w \cdot w$
约束条件为：
$w \cdot (y_ix_i) \geq 1 + y_ib$，对于所有的 $(x_i, y_i) \in D$。

这里的目标函数 $\varphi(w, b) = \frac{1}{2}w \cdot w = \frac{1}{2}(w_1^2 + \ldots + w_n^2)$ 是一个凸函数。凸性意味着我们能够找到目标函数的全局最小值。

2. 二次规划求解最大间隔分类器

求解这种凸优化问题的一种有效方法是通过二次规划。大多数二次规划求解器的形式为：
$w^ = solve(Q, q, X, c)$
它