4、支持向量机的概率输出优化

支持向量机的概率输出优化

1. 引言

在实际的识别场景中，构建一个能输出后验概率 $P(\text{class}|\text{input})$ 的分类器非常有用。后验概率可用于决策时结合效用模型，也适用于分类器作为整体决策一部分，需将分类输出进行整合的情况，例如在语音识别中使用维特比搜索或隐马尔可夫模型（HMM）将音素识别结果整合为单词识别。在多类别分类器中，基于最大后验概率选择类别是等损失情况下的贝叶斯最优决策。

然而，支持向量机（SVM）产生的是未校准的值，并非概率。SVM 的未阈值化输出为 $f(x) = h(x) + b$，其中 $h(x) = \sum_{i} y_{i} \alpha_{i} k(x_{i}, x)$ 位于由核函数 $k$ 诱导的再生核希尔伯特空间（RKHS）$F$ 中。训练 SVM 时，会最小化一个误差函数，该函数对训练误分类率的近似值进行惩罚，同时对 $h$ 在 RKHS 中的范数进行惩罚：
[
\text{SVM Error} = C \sum_{i} (1 - y_{i} f_{i}) {+} + \frac{1}{2} |h| {F}^{2}
]
最小化此误差函数能降低测试误分类率的上限，且会产生一个稀疏机器，即最终机器仅使用部分可能的核函数。

另一种从核机器产生概率输出的方法由 Wahba 提出，他使用逻辑链接函数 $P(\text{class}|\text{input}) = P(y = 1|x) = p(x) = \frac{1}{1 + \exp(-f(x))}$，并提出最小化负对数多项似然加上对 RKHS 中范数的惩罚项：
[
\text{Maximu