35、机器学习实验与未来发展方向

机器学习实验与未来发展方向

1. 多数据集结果解读

在机器学习实验中，对于结果的解读至关重要。当比较两个学习算法在单个数据集上的性能时，t - 检验是常用的方法，通常结合交叉验证的结果来使用。然而，t - 检验并不适用于多数据集的情况，因为不同数据集上的性能指标不具有可比性。

为了在多数据集上比较两个学习算法，我们可以使用专门为此设计的检验方法，如 Wilcoxon 符号秩检验。该检验的步骤如下：
1. 对性能差异的绝对值进行排序，从最小（秩为 1）到最大（秩为 n）。
2. 分别计算正差异和负差异的秩和。
3. 取这两个秩和中的较小值作为检验统计量。

对于大量数据集（至少 25 个），该统计量可以转换为近似正态分布的统计量；对于较小数量的数据集，可以通过统计表格查找临界值。

例如，假设我们有 10 个不同数据集上朴素贝叶斯（NB）和决策树（DT）的性能差异数据：
| 数据集 | NB - DT | 秩 |
| — | — | — |
| 1 | -0.0715 | 4 |
| 2 | -0.1947 | 8 |
| 3 | 0.0209 | 1 |
| 4 | -0.2189 | 9 |
| 5 | -0.1424 | 6 |
| 6 | -0.1739 | 7 |
| 7 | 0.0992 | 5 |
| 8 | -0.0371 | 3 |
| 9 | -0.2802 | 10 |
| 10 | 0.0341 | 2 |

正差异的秩和为 1 + 5 + 2 = 8，负差异的秩和为 4 +