12、校准分类器的特性与优势

校准分类器的特性与优势

在决策任务中，准确评估不同行动方案的可能性至关重要。模式分类器可将特征映射到类别标签，但为了用于决策，我们需要可靠的类别成员概率估计。校准分类器能提供这种可靠估计，在决策和提高分类准确性方面具有重要作用。

1. 引言

在决策任务里，获取准确的可能性估计有助于评估不同行动方案。模式分类器可实现特征到类别标签的自动映射，但用于决策时，需要对每个测试样本的真实类别成员概率进行可靠估计。我们将能提供可靠类别成员概率估计的分类器称为校准分类器。一个分类准确率高的分类器不一定是校准的，例如朴素贝叶斯分类器。

校准分类器的方法在天气预报、博弈论和机器学习等领域都有研究。我们研究校准的动机源于将概率分类器应用于大型存储阵列 I/O 响应时间的预测问题。在应用校准程序后，我们发现不仅估计更准确，分类准确率也有所提高。我们的研究证明了以下几点：
- 可以使用校准计算得到的参数来界定贝叶斯误差。
- 校准分类器不会降低其分类准确率，甚至可能提高。
- 校准过程可以计算出决策规则中的阈值，从而最小化分类误差。

2. 符号和初步定义

分类器接收特征向量 X 并将其映射到类别标签。我们用 C 表示类别变量，假设是一个二分类问题，C 取值为 (1, 0)。每个特征实例 x 是一个样本，且所有样本独立同分布。

设 $P(C|X)$ 是给定特征下类别的真实后验分布。在 0 - 1 成本函数下，最优分类规则是最大后验（MAP）规则：
[
\delta_{MAP}(x) =
\begin{cases}
1, & \text{if } P(C = 1|x)