18、统计分析中的排列测试、P值与贝叶斯推理

统计分析中的排列测试、P值与贝叶斯推理

1. 排列测试与P值

传统的统计显著性检验在判断两个样本是否来自同一分布时非常有效，但这些检验需要正确执行，因为许多标准检验存在一些微妙之处，如单边与双边检验的问题、分布假设等。而排列测试则提供了一种更通用且计算简单的方法来确定显著性。

如果数据支持我们的假设，那么随机打乱的数据集就不太可能支持该假设。通过对随机化数据进行多次试验，我们可以准确确定所测试现象的罕见程度。

例如，以性别和身高的关系为例。在原始数据中，男性和女性的身高分布差异明显，这反映了真实的身高差异。为了确定这种差异的罕见程度，我们可以通过随机分配性别到原始结果变量来构建新的数据集。对每个组内的数据进行排序后，我们会发现伪男性/女性的结果分布比原始数据更加平衡，这表明性别确实是决定身高的一个重要因素。经过1000次或100万次试验后，我们会更加确信这一结论。

排列测试的显著性水平或P值由真实数据的测试统计量在随机排列统计值分布中的排名决定。如果真实值位于分布的极端尾部，则表明具有显著意义；如果位于分布的中间，则表明没有效果。

在进行排列测试时，我们需要开发一个能反映对数据假设的统计量。例如，如果想确定特定变量对之间的重要关系，相关系数是一个合理的选择。理想情况下，真实数据中的观察相关性应强于其任何随机排列。为了验证性别与身高的联系，我们可以使用男性和女性平均身高的差异作为统计量，并且希望该差异在真实数据中比大多数随机排列更大。

需要注意的是，排列测试给出的是在假设下数据的概率，即统计量相对于随机样本分布是异常值的概率，这与传统统计显著性检验中根据数据证明假设的目标并不完全相同，但总比没有要好。排列测试的显著性得分或