5、支持向量机中的高维映射与核函数

支持向量机中的高维映射与核函数

1. 高维映射相关基础

在支持向量机的框架下，存在一些重要的约束条件和决策函数定义。对于 $i = 1, \cdots, M$，有以下式子成立：
- $\alpha_i \left(y_i \left(\sum_{j=1}^{M} y_j \alpha_j K(x_i, x_j) + b\right) - 1 + \xi_i \right)= 0$
- $(C - \alpha_i) \xi_i = 0$
- $\alpha_i \geq 0$，$\xi_i \geq 0$

决策函数定义为 $D(x) = \sum_{i\in S} \alpha_i y_i K(x_i, x) + b$，其中 $b$ 的计算方式如下：
- 若 $x_j$ 是无界支持向量，$b = y_j - \sum_{i\in S} \alpha_i y_i K(x_i, x_j)$。为保证计算稳定性，通常取平均值 $b = \frac{1}{|U|} \sum_{j\in U} \left(y_j - \sum_{i\in S} \alpha_i y_i K(x_i, x_j) \right)$，这里 $U$ 是无界支持向量索引的集合。

未知数据根据决策函数进行分类：
- 若 $D(x) > 0$，$x$ 属于类别 1；
- 若 $D(x) < 0$，$x$ 属于类别 2；
- 若 $D(x) = 0$，$x$ 无法分类。

2. 核函数的重要性及常见类型

支持向量机的一个显著优势是可以通过合理选择核函数来提升泛化性能。以下是一些常见的核函数：