16、支持向量机与决策树算法详解

支持向量机与决策树算法详解

支持向量机（SVM）训练目标

支持向量机的决策函数斜率等于权重向量的范数 $|\mathbf{w}|$。当我们将斜率除以 2 时，决策函数值为 $\pm1$ 的点到决策边界的距离会变为原来的两倍，也就是间隔会变为原来的两倍。权重向量 $\mathbf{w}$ 越小，间隔越大。

为了获得大间隔，我们希望最小化 $|\mathbf{w}|$。若要避免任何间隔违规（硬间隔），则对于所有正训练实例，决策函数需大于 1；对于负训练实例，决策函数需小于 -1。我们定义负实例（$y = 0$）时 $t = -1$，正实例（$y = 1$）时 $t = 1$，那么所有实例需满足约束条件 $t^{(i)}(\mathbf{w}^T\mathbf{x}^{(i)} + b) \geq 1$。

硬间隔线性 SVM 分类器的目标可表示为如下约束优化问题：
$$
\begin{align }
\underset{\mathbf{w},b}{\text{minimize}} &\quad \frac{1}{2} \mathbf{w}^T\mathbf{w}\
\text{subject to} &\quad t^{(i)}(\mathbf{w}^T\mathbf{x}^{(i)} + b) \geq 1, \quad \text{for } i = 1, 2, \cdots, m
\end{align }
$$

这里我们最小化 $\frac{1}{2} \mathbf{w}^T\mathbf{w}$（等于 $\frac{1}{2} |\mathbf{w}|^2$