27、机器学习中分类器性能的统计评估

机器学习中分类器性能的统计评估

1. 标准误差与统计显著性

在评估分类器性能时，标准误差是一个重要的概念。标准误差的计算公式如下：
[ s_{acc} = \sqrt{\frac{p(1 - p)}{n}} ]
例如，若理论分类准确率 ( p = 0.70 )，每个测试集的大小 ( n = 100 )，则从众多不同测试集获得的分类准确率的标准误差计算如下：
[ s_{acc} = \sqrt{\frac{0.7(1 - 0.7)}{100}} = 0.046 ]
经过适当四舍五入，我们可以说分类准确率是 ( 70\% \pm 5\% )。需要注意的是，测试集越大，标准误差越低。这是因为测试集越大，评估越全面，我们对所获得值的置信度就越高。

当我们想知道在相同大小的其他测试集上评估分类器会得到什么值时，可以借助相关表格。假设我们要求 ( 95\% ) 的置信度，在对应表格中找到 ( z_{\alpha} = 1.96 )，这意味着 ( 95\% ) 的结果将落在区间 ( [p - 1.96 \times s_{acc}, p + 1.96 \times s_{acc}] ) 内。不过，这仅适用于测试集大小 ( n ) 相同的情况，不同的 ( n ) 会导致不同的标准误差和区间。

这里有两个重要提醒：
- 正态分布假设的作用：如果分布是正态的，我们可以使用相关表格来确定包含给定百分比值的区间大小（以 ( p ) 为中心）。
- 标准误差公式的通用性：标准误差的公式（上述公式）通常是有效的，即使分布不是正态的。在计算标准误差时，不需要满足某些特定条件。

2. 置信区间

置信区间可以帮