2.4 比较检验 机器学习

目录

常见比较检验方法

总述

2.4.1 假设检验

2.4.2 交叉验证T检验

2.4.3 McNemar 检验

---

接我们的上一篇《性能度量》，那么我们在某种度量下取得评估结果后，是否可以直接比较以评判优劣呢？实际上是不可以的。因为我们第一，测试性能不等于泛化性能，第二，测试性能会随着测试集的变化而变化，第二，很多机器学习算法本身有一定的随机性，即便用相同参数设置在同一测试集上其结果也会不同所以直接选取相应评估方法在相应度量下比大小的方法不可取。

常见比较检验方法

统计假设检验 (hypothesis test) 为学习器性能比较提供了重要依据。即比较两算法性能是否相同。一般我们假设两算法性能一样，很显然，若拒绝，则性能不一样，若没拒绝则性能一样。（参见《概率论与数理统计》中假设检验）

两学习器比较：

1.交叉验证 t 检验 (基于成对 t 检验) k 折交叉验证； 5x2交叉验证

2.McNemar 检验 (基于列联表，卡方检验)

多学习器比较：

1.Friedman检验 (基于序值，F检验; 判断“是否都相同”)

2.Nemenyi 后续检验 (基于序值，进一步判断两两差别)

总述

首先我们比较两个学习器的时候，假设我们两学习器一样的性能，我们基于一个值来评估，那么我们在多个测试集中得出的两学习器的误差的差的均值近似为0.显然我们判断此种情况时符合我们的T检验。对于我们的多个值评估，我们使用联列表（记得上次那个TP,NP的表吗？这就类似于那个）假设我们有两个学习器，对于同一组样本，我们的联列表如下：