27、分类器性能的统计评估与置信区间分析

分类器性能的统计评估与置信区间分析

1. 统计显著性与标准误差

在评估分类器性能时，标准误差是一个重要的概念。标准误差的计算使用特定公式，例如，当理论分类准确率 $p = 0.70$，每个测试集的大小 $n = 100$ 时，从大量不同测试集获得的分类准确率的标准误差计算如下：
[s_{acc} = \sqrt{\frac{p(1 - p)}{n}} = \sqrt{\frac{0.7(1 - 0.7)}{100}} = 0.046]
经过适当四舍五入后，我们可以说分类准确率是 $70\% \pm 5\%$。需要注意的是，使用更大的测试集时，标准误差会更低。这是因为测试集越大，评估越全面，我们对所获得值的置信度就越高。

当我们想知道在相同大小的其他测试集上评估分类器会得到什么值时，可以借助相关表格来回答。例如，对于 $95\%$ 的情况，表格中对应的值 $z_{\alpha} = 1.96$，这意味着 $95\%$ 的结果将落在区间 $[p - 1.96 \times s_{acc}, p + 1.96 \times s_{acc}]$ 内。但要记住，只有当测试集大小相同时，这个区间才适用。

这里有两个重要提醒：
- 正态分布假设的作用：如果分布是正态的，我们可以使用相关表格来确定包含给定百分比值的区间大小。
- 标准误差公式的通用性：标准误差公式（如上述公式）通常是有效的，即使分布不是正态的，在计算标准误差时，某些条件（如 $n \times acc \geq 10$ 和 $n \times (1 - acc) \geq 10$）并非必须满足。

相关问题思考

• 如何将上述考虑应用于诱