21、模式识别中的支持向量机：从二分类到多分类

模式识别中的支持向量机：从二分类到多分类

1. RBF网络与支持向量算法

在模式识别领域，径向基函数（RBF）网络是一种常用的分类模型。支持向量（SV）算法可用于自动计算RBF网络的中心（或隐藏单元），替代传统的k - 均值算法。研究表明，支持向量机（SVM）算法具有两个优势：一是能更好地识别良好的扩展模式；二是其大间隔正则化器使得第二层权重具有更好的泛化能力。不过，通过巧妙的工程设计，经典的RBF算法也能达到接近SVM的性能。

2. 软间隔超平面

2.1 问题提出

在实际应用中，理想的分离超平面可能并不存在，即使存在，也不一定是分类问题的最佳解决方案。数据集中的单个离群点（如标记错误的模式）可能会对超平面产生关键影响。因此，我们需要一种能够容忍一定比例离群点的算法。

2.2 传统思路的困境

一种自然的想法是让算法返回导致训练误差最小的超平面，但这是一个组合问题，且难以近似求解。不过，考虑间隔的概念可以缓解这个问题，忽略超平面一定正间隔内的点，问题就具有多项式复杂度。

2.3 C - SV分类器

为了允许样本违反分离约束，引入了松弛变量 $\xi_i \geq 0$（$i = 1, 2, \cdots, m$），并使用松弛分离约束：
$y_i(\langle x_i, w \rangle + b) \geq 1 - \xi_i$，$i = 1, 2, \cdots, m$

在最简单的情况下，即C - SV分类器，通过求解以下优化问题：
$\text{minimize} \quad \frac{1}{2} |w|^2 + C \