44、机器学习分类模型：支持向量机与径向基函数神经网络

机器学习分类模型：支持向量机与径向基函数神经网络

1. 支持向量机（SVM）基础

在机器学习的分类模型中，支持向量机（SVM）是一种强大的工具。我们首先对样本标签进行定义，设 (y_i) 满足：
- 当样本属于类别 I 时，(y_i = +1) ，即 (y_i ＝ + 1/class I) (7.10)
- 当样本属于类别 II 时，(y_i = -1) ，即 (y_i ＝ - 1/class II) (7.11)

1.1 最大间隔与目标函数

最大间隔在相关特征空间中有着重要的意义，如在图（这里虽未展示图，但概念上存在）所示。处于间隔边界上的点 (x_i) 满足方程：
(y_i(\mathbf{w} \cdot \mathbf{x}_i + b) - 1 = 0) (7.12)

对于间隔边界上的点 (x_i) ，其间隔宽度有两种表示方式：
- (width = (\mathbf{x}^+ - \mathbf{x}^-) \cdot \frac{\mathbf{w}}{|\mathbf{w}|}) (7.13)
- (width = \frac{2}{|\mathbf{w}|}) (7.14)

为了实现更好的分类效果，我们需要最大化间隔宽度。这就引出了目标函数，它是一个约束优化问题：
- 目标是最大化 (\frac{2}{|\mathbf{w}|}) (7.15)
- 等价于最小化 (\frac{1}{2} |\mathbf{w}|^2) ，约束条件为 (y_i(\mathbf{w} \cdot \mathbf{x}_i + b) - 1 = 0) (7.16)