周志华《机器学习》第二章模型评估与选择——比较检验

最新推荐文章于 2025-04-25 12:15:24 发布

原创最新推荐文章于 2025-04-25 12:15:24 发布 · 1.6k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #深度学习 #算法

西瓜书笔记专栏收录该内容

4 篇文章

订阅专栏

本文介绍了几种用于评估和比较机器学习算法性能的统计方法，包括二项检验、交叉验证t检验、McNemar检验、Friedman检验及Nemenyi后续检验。这些方法为学习器性能提供量化依据。

周志华《机器学习》（西瓜书）目录

https://editor.youkuaiyun.com/md?articleId=106864771
—————————————————————————————————

比较检验

统计假设检验(hypothesis test)为我们进行学习器t性能比较提供了重要依据。

假设检验
交叉验证 t 检验
McNemar 检验
Friedman检验与 Nemenyi后续检验

假设检验

由于泛化错误率与测试错误率比较接近，因此，可根据测试错误率估推出泛化错误率的分布。
泛化错误率为 $\epsilon$ 学习器被测得测试错误率为 $\hat{\epsilon}$ 的概率:
在这里插入图片描述
我们可使用"二项检验" (binomial test)来对" $\epsilon<0.3$ "(即"泛化错误率是
否不大于 0.3" )这样的假设进行检验。

其中阴影部分的面积可以表示为：

此时若测试错误率 $\hat{\epsilon}$ 小于临界值 $\overline{\epsilon}$ 。则根据二项检验可得出结论:在 α 的显著度下，假设" $\epsilon\le\epsilon_0$ "不能被拒绝，即能以1-α 的置信度认为，学习器的泛化错误率不大于 $\epsilon_0$ ; 否则该假设可被拒绝，即在 α 的显著度下可认为学习器的泛化错误率大于 $\epsilon_0$ 。

交叉验证 t 检验

对两个学习器A和B，使用 k 折交叉验证法得到的测试错误率分别为 $\epsilon_i^A$ 和 $\epsilon_i^B$ 。
对 k 折交叉验证产生的 k 对测试错误率:先对每对结果求差， $\Delta_i=\epsilon_i^A-\epsilon_i^B$ , 若两个学习器性能相同，则差值均值班为零。对"学习器 A 与 B 性能相同"这个假设做 t 检验，在显著度 α 下，若变量为：
在这里插入图片描述
小于临界值则假设不能被拒绝，即认为两个学习器的性能没有显著差差别; 否则可认为两个学习器的性能有显著差别，且平均错误率较小的那个学习器性能较优。

McNemar 检验

学习器 A 和 B 的测试错误率列联表为：
在这里插入图片描述
我们可以构建自由度为 1 的 χ2 分布，

Friedman检验与 Nemenyi后续检验

为解决一组数据集上的多个算法比较，我们构建基于算法排序的Friedman 检验。
在这里插入图片描述
N是数据集的个数，k是算法的个数。在 k 和 N 都较大时，服从自由度为 k-1 的 χ2 分布.
常用的Friedman 检验为：

若"所有算法的性能相同"这个假设被拒绝，则说明算法的性能显著不同.这时需进行"后续检验" (post-hoc test)来进一步区分各算法.常用的有 Nemenyi 后续检验。
Nemenyi 检验计算出平均序值差别的临界值域：
在这里插入图片描述