7、广义支持向量机：理论与应用

广义支持向量机：理论与应用

1. 引言

支持向量机旨在通过非线性表面分离N维实空间中属于两个给定集合的点，该非线性表面通常由核函数隐式定义。在高维特征空间中，原空间的非线性表面可表示为线性函数（平面）。若两个集合在高维空间中线性可分，则可生成一个位于边界平行平面中间的平面，此平面能优化分离平面的泛化能力。若集合线性不可分，也可采用类似方法最大化边界平面间的距离，并控制最小误差。

支持向量机的实现基于一个非线性分离表面，由任意核k和线性参数u确定。通过最小化参数u的某个函数θ，可得到一个通用的凸数学规划，尝试通过非线性表面进行分离。函数θ的选择会产生不同类型的支持向量机，主要分为二次型和分段线性型两类。

2. 核函数的定义与示例

• 定义 ：设(X \in R^{m×N})和(B \in R^{N×ℓ})，核(k(X, B))将(R^{m×N} × R^{N×ℓ})映射到(R^{m×ℓ})。对于列向量(s)和(t)，(k(s’, X’))是(R^m)中的行向量，(k(s’, t))是实数，(k(X, X’))是(m × m)矩阵。
• 示例 ：
  • 多项式核 ：((XB + \mu ab’)^d_•)
  • 神经网络阶跃核 ：((XB + \mu ab’)_•^*)
  • 径向基核 ：(e^{-\mu |X’ i - B {•j}|^2})，其中(i