学习模式上的记录之统计篇三 置换检验 Permutation Test

偶然间看到有人用置换检验，上午看了下基础的讲解，先记录下来以便于自己理解。
讲解内容最初看的是这个网站 置换检验可视化讲解

置换检验是一种非参数检验，也就是对数据的分布、方差等没有要求。

复习
可能有些小同志看到这里不太清楚什么是非参数检验，以后每次写到我都会提一下。
先说假设检验，假设检验是指从对总体参数所做的一个假设开始，然后搜集样本数据，计算出样本统计量，进而运用这些数据测定假设的总体参数在多大程度上是可靠的，并做出承认还是拒绝该假设的判断。
若进行假设检验时总体的分布形式已知，需要对总体的未知参数进行假设检验，称其为参数假设检验；
若对总体分布形式所知甚少，需要对未知分布函数的形式及其他特征进行假设检验，通常称之为非参数检验。
此外，根据研究者兴趣的备择假设的内容不同，假设检验还可分为单侧检验（单尾检验）和双侧检验（双尾检验），而单侧检验又分为左侧检验和右侧检验。
PS：
线性回归的前提假设可总结为 LINE 四原则：
L：Linearity 线性 因变量和每个自变量都是线性关系
I：Independence 独立性 对于所有的观测值，他们的误差项相互之间是独立的
N：Normality 正态性 误差项服从正态分布
E：Equal-Variance 等方差 所有的误差项具有同样方差

置换检验，顾名思义，是对一个样本进行多次随机排列permute，对此比较均值得到的结果，一般用于样本量较小或采集样本收到限制，不能采集大量样本的时候，有点儿类似于蒙特卡洛方法。

上面那个链接里的讲解还算比较好懂。大概复述如下：
假设我是一个牧羊人，比较注重羊毛的质量，现在镇子上新进了一批洗毛膏，我要经过尝试，才知道这批产品的是否真的可以提高我的羊毛质量，我有一种方法可以测试羊毛质量，此数值越高，羊毛质量越好，暂称为毛质指标MC（此名称没有实际意义，是我自己瞎编的）。我有100只羊，并且有两只牧羊犬。

我买了洗毛膏，把羊群随机分成两组，控制组和处理组，处理组使用新买的洗毛膏洗一洗。现在我做出原假设，也就是null hypothesis: 洗毛膏没用，量化的指标就是

ΔMC=MC(treatment)-MC(control) ≤ 0

相应的，备择假设就是洗毛膏有用。

做出此种原假设的逻辑其实也很简单：如果原假设为真，那么，之后我再怎么随意分开两批羊群，对结果都不会有影响。

现在我已经用洗毛膏洗好了一批羊，这些处理羊跟控制羊混杂在一起，下面我随意地隔开整个羊群为两批，分处在两个栅栏里，这两个栅栏虽然都有各自的名称，一个是treatment，一个是control，但因为我的人工处理，里面可能混杂了处理过的和没处理过的。每处理一次，我就会对两个栅栏内的MC做计算，并计算出ΔMC，随着我的处理次数增多，那么我将得到ΔMC的数据分布，一张概率密度图。这就是接下来的判断基础了。

我要知道，ΔMC是否显著，再提一下 p-value，虽然这个概念已经被用烂了。
p-value代表原假设为真的情况下，出现观测值的概率，那我们怎么判断这个概率呢？一般是自己假定一个显著性水平，也就是α，来跟 p-value 做比较，如果 p < α，那么，我们就认为在原假设为真的前提下，出现观测值是一种小概率事件，然而，即使它是小概率事件，却被我们观测到了，因此我们有理由认为原假设有问题，就拒绝原假设。

在这种情况下，我们用我们已知的treatment里处理羊和control里控制羊的MC来计算一个数值x，计算这个数值的概率，其实也就是频率，x/X，这就是p，用这个与α比较，如果 p<α，那就意味着：

在原假设，也就是洗毛膏没用的前提下，我观测到了一种洗毛膏有用的现象，然而在前提成立的时候，是不太可能观测到的，因此拒绝这个原假设，认为洗毛膏有用。

我的羊毛可以卖到更好的价钱了。

突然想到，这种洗毛膏的成本增加和我的羊毛出售价增加之间肯定也有一个可以描述的函数，但在这里就先不涉及了。

以上。

这只是置换假设的原理，实际操作的时候，可以采用交互性较好的R来试试。在下一篇内容中可能会讲到。