9、支持向量机与广义回归神经网络的深入解析

支持向量机与广义回归神经网络的深入解析

1. 支持向量机学习基础

支持向量机（SVM）在解决分类问题上有着重要的应用。对于线性可分的情况，存在等式 $\sum_{i=1}^{n} \lambda_{i}y_{i} = 0$ ，它与线性可分情形下的某个等式类似，不过这里的拉格朗日乘子 $\lambda_{i}$ 被限制在一个上限值 $c$ 以内，$c$ 被称为正则化参数。

$y_{i}y_{j}X_{i}^{T} \cdot X_{i}$ 这一项被称为海森矩阵 $H_{ij}$ 。使用海森矩阵重写等式后得到：
$L_{d}(W, b, \xi, \lambda, \beta) = -\frac{1}{2} \sum_{i,j=1}^{n} \lambda_{i}\lambda_{j}H_{ij} + \sum_{i=1}^{n} \lambda_{i}$

求解相关等式属于二次规划（QP）问题，虽然有很多解决方案，但这里将 QP 求解器视为“黑盒”，不深入探讨具体解法。其中最常用的方法是序列最小优化（SMO）。

2. 非线性、不可分情形下的拉格朗日公式

为了解决非线性问题，采用“核技巧”。之前描述的是具有线性决策边界的“大间隔”分类器，要让决策边界变为非线性，关键思路是将数据样本 $X_{i}$ 转换到一个更高维的特征空间。这样就有了输入特征空间和转换后的特征空间。进行这种转换的原因在于，高维特征空间中的线性操作等同于输入空间中的非线性操作，若进行适当转换，分类会变得更容易。

将非线性输入空间转换为线性特征空间时，把相关等式中的 $X_{i}^{T} \cdot X_{i}$ 项替换为映射函数 $\phi^{T