13、统计检验与分类模型评估方法详解

统计检验与分类模型评估方法详解

1. 排列检验

排列检验是非参数检验的一个子集，在这种检验中，无需知晓检验统计量的理论概率分布。其唯一假设是，在原假设下，不同组的分布相同。实际上，对于所有参数检验，都存在对应的排列检验，它使用与参数检验相同的检验统计量，从该统计量的特定样本排列中获取 p 值，而非从基于参数假设得出的理论分布中获取。

1.1 排列检验的一般步骤

1. 计算检验统计量的值 ：基于样本数据集计算检验统计量的值，记为 (t_{obs})。
2. 合并观测值 ：在原假设下，将不同组的观测值合并。
3. 计算所有可能排列的检验统计量值 ：对合并后的数据集进行所有可能的重新排列，同时保持初始数据集中不同组的大小不变。若可能的排列数量巨大，抽样足以获得近似的排列检验结果。
4. 计算 p 值 ：
   • 单侧 p 值：计算抽样排列中检验统计量的值大于或等于 (t_{obs}) 的比例。
   • 双侧 p 值：计算抽样排列中检验统计量的值大于或等于 (|t_{obs}|) 的比例。

1.2 排列重采样的规则

排列重采样必须与原假设一致。在非配对样本设计中，原假设认为两个总体相同，此时重采样会随机将观测值重新分配到两组中。在配对样本设计中，会分别对每对中的两个观测值进行随机排列。在测量两个变量之间关系的假设检验中，重采样应随机重新分配其中一