7、广义支持向量机：原理、应用与创新

广义支持向量机：原理、应用与创新

1. 引言

支持向量机旨在通过非线性表面对 N 维实空间 $R^N$ 中的两类点进行分离，该非线性表面通常由核函数隐式定义。在本文方法中，原始输入空间 $R^N$ 中的非线性表面在参数上线性定义，可在更高维特征空间 $R^l$ 中表示为线性函数（平面）。若两类点在 $R^l$ 中线性可分，则可生成一个位于两类点最远平行边界平面中间的平面，此平面能优化分离平面的泛化能力。若两类点线性不可分，也可采用类似方法，在一定最小误差下最大化边界平面间的距离。

2. 核函数定义

2.1 通用核函数

设 $X \in R^{m \times N}$ 和 $B \in R^{N \times l}$，核函数 $k(X, B)$ 将 $R^{m \times N} \times R^{N \times l}$ 映射到 $R^{m \times l}$。具体而言，若 $s$ 和 $t$ 是 $R^N$ 中的列向量，则 $k(s^0, X^0)$ 是 $R^m$ 中的行向量，$k(s^0, t)$ 是实数，$k(X, X^0)$ 是 $m \times m$ 矩阵。需注意，$k(X, X^0)$ 一般无需对称。

2.2 核函数示例

• 多项式核函数 ：$(XB + \mu ab^0)^d$
• 神经网络阶跃核函数 ：$(XB + \mu ab^0)^\ast$
• 径向基核函数 ：$e^{-\mu |X^0_i - B_{\cdot j}