10、机器学习模型性能评估中的统计显著性检验

机器学习模型性能评估中的统计显著性检验

在机器学习模型的性能评估中，确定多个性能评估测量值之间的差异是否具有统计显著性是一个关键问题。这与测试数据样本的随机性以及机器学习过程本身的固有随机性密切相关。然而，目前在自然语言处理（NLP）和数据科学领域，系统的不确定性估计和统计显著性检验往往被忽视。

1. 统计显著性检验的现状

在当前的研究中，遵循训练 - 开发 - 测试范式的研究往往忽略了系统的不确定性估计和统计显著性检验。研究者常常放弃统计显著性检验，而采用经验法则来判断观察到的评估分数之间的差异是否足够大。例如，在机器翻译领域，BLEU 分数差异至少为 1 - 2 分通常被认为是具有“显著性”的，值得发表。

随着机器翻译中常规基准测试的出现，统计显著性检验变得更加流行。但目前存在多种不同的检验方法，却没有明确的选择标准。这些方法包括参数检验（如 t 检验）、非参数检验（如符号检验）以及基于抽样的检验（如自助法检验和近似随机化检验）。

2. 不同类型的显著性检验

• 参数检验 ：参数检验的基本目标是通过观察到的随机样本证据，在零假设 (H_0) 和备择假设 (H_1) 之间做出决策。所有统计检验都从假设零假设的正确性开始，然后推导出一个用于区分 (H_0) 和 (H_1) 的检验统计量的分布。对于参数检验，有时可以根据假设的数据分布和已知参数解析地推导出这个分布，但在大多数情况下，只能通过渐近论证进行近似。
• 中心极限定理 ：中心极限定理是进行均值检验的关键定理。经典中心极限定理表明，对于一系列独立同分布的标量随机变量 (X_1,