非参数统计基础2——秩和检验

非参数统计基础2——秩和检验

秩和检验是除Person外另一类核心非参数方法，包括它的衍生方法（符号检验、符号秩和检验）。秩和检验的核心用来解决“两个总体分布是否相同”的比较问题，尤其适合不知道总体分布类型的场景。

一、基础铺垫：什么是“秩”？

“秩”是“数据的排序名次”。

（一）无结数据的秩（无重复数据）

1. 定义：设样本$X_1,X_2,...,X_n$是简单随机样本，对每个$X_i$，统计样本中“不超过$X_i$的数据个数”，记为$R_i$，$R_i$就是$X_i$的秩， $X_i$是第$R_i$个顺序统计量。令$R=(R_1,R_2,\cdots ,R_n)$，$R$称为秩统计量。
   例：样本数据[2.36, 2.76, 3.14, 3.48]，排序后是[2.36(1), 2.76(2), 3.14(3), 3.48(4)]，所以它们的秩分别是1、2、3、4。

2. 关键性质：

   • 秩统计量$R=(R_1,R_2,...,R_n)$是均匀分布的，所有排列等可能（比如3个数据的秩，(1,2,3)、(1,3,2)等6种排列概率都是1/6）；
   • 单个秩$R_i$的期望$E(R_i)=\frac{n+1}{2}$，方差$Var(R_i)=\frac{(n+1)(n-1)}{12}$；
   • 核心意义：秩的分布和总体分布无关！这也是非参数检验不依赖总体分布的关键原因。

（二）有结数据的秩（有重复数据）

1. 结的定义：排序后相同的数据点组成一个“结”，重复数据的个数叫“结长”。
   例：数据[3.8, 3.2, 1.2, 1.2, 3.4, 3.2, 3.2]，排序后是[1.2,1.2,3.2,3.2,3.2,3.4,3.8]，其中1.2是结长2的结，3.2是结长3的结。

2. 处理方法：秩平均法
   重复数据的秩不唯一，取它们“原本应有的名次的平均值”作为共同的秩。
   公式：若第$i$个结的结长为${\tau }_i$，前$i-1$个结的总长度为${\sum }_{k=1}^{i-1}{\tau }_k$，则该结的秩为：
   $$r_i=\sum _{k=1}^{i-1}{\tau }_k+\frac{1+{\tau }_i}{2}$$

3. 例：
   样本数据[2,2,4,7,7,7,8,9,9,9,9,10]，其中有6个结，结长分别为2、1、3、1、4、1：

   • 第一个结（2,2）：原本名次1、2，秩=（1+2）/2=1.5；
   • 第三个结（7,7,7）：原本名次4、5、6，秩=（4+5+6）/3=5；
   • 第五个结（9,9,9,9）：原本名次8、9、10、11，秩=（8+9+10+11）/4=9.5；
     最终秩结果：[1.5,1.5,3,5,5,5,7,9.5,9.5,9.5,9.5,12]

二、核心方法：秩和检验法（Wilcoxon秩和检验）

（一）检验场景

从两个总体$F(x)$和$G(x)$中分别抽样本$X_1,...,X_{n_1}$（容量$n_1$）和$Y_1,...,Y_{n_2}$（容量$n_2$），检验假设：
$H_0:F(x)=G(x)$（两个总体分布相同）；$H_1:F(x)\ne G(x)$（分布不同）。

（二）核心思想

如果$H_0$成立，两个样本本质来自同一总体，合并排序后，两个样本的秩应该“均匀混合”——不会出现一个样本的秩全是小值，另一个全是大值。因此，用“容量较小样本的秩和”作为统计量$T$，若$T$过大或过小，就拒绝$H_0$。

（三）检验步骤（小样本：$n_1,n_2\le 10$）

1. 建立假设：$H_0$（分布相同）vs $H_1$（分布不同）；
2. 合并样本：将两个样本的所有数据合并，按从小到大排序；
3. 统一编秩：对每个数据编秩，重复数据用秩平均法；
4. 计算秩和$T$：取容量较小样本的所有秩之和（若$n_1=n_2$，取任意一个的秩和）；
5. 查临界值：给定$\alpha$，查秩和检验临界值表，得$T_1$（下界）和$T_2$（上界）；
6. 判断：若$T_1<T<T_2$，接受$H_0$；否则拒绝$H_0$。

（四）例

题目背景

两个总体$F(x)$和$G(x)$的样本：
$X$（$n_1=8$）：[2.36, 3.14, 7.52, 3.48, 2.76, 5.43, 6.54, 7.41]
$Y$（$n_2=6$）：[4.38, 4.25, 6.54, 3.28, 7.21, 6.54]
检验$H_0:F(x)=G(x)$，$\alpha =0.05$。

分步解答

1. 合并样本并排序：
   合并后14个数据：2.36, 2.76, 3.14, 3.28, 3.48, 4.25, 4.38, 5.43, 6.54, 6.54, 6.54, 7.21, 7.41, 7.52

2. 统一编秩：

   • 前8个数据无重复，秩依次为1-8；
   • 第9-11个数据都是6.54（结长3），原本秩9、10、11，平均秩=（9+10+11）/3=10；
   • 最后3个数据秩依次为12、13、14。
     编秩结果如下表：

编号	1	2	3	4	5	6	7	8	9	10	11	12	13	14
X	2.36	2.76	3.14	-	3.48	-	-	5.43	6.54	-	-	-	7.41	7.52
Y	-	-	-	3.28	-	4.25	4.38	-	-	6.54	6.54	7.21	-	-
秩	1	2	3	4	5	6	7	8	10	10	10	12	13	14

3. 计算秩和$T$：
   $Y$样本容量较小（$n_2=6$），其秩为4、6、7、10、10、12，所以：
   $T=4+6+7+10+10+12=49$

4. 查临界值并判断：
   查秩和检验表（$\alpha =0.05$，$n_1=8$，$n_2=6$），得$T_1=32$，$T_2=58$；
   因为$32<49<58$，所以接受$H_0$，认为两个总体分布无显著差异。

（五）大样本近似（$n_1,n_2>10$）

当样本量超过10，秩和检验表不再适用，此时$T$近似服从正态分布：
$$T\sim N\left(\frac{n_1(n_1+n_2+1)}{2},\frac{n_1{n}_2(n_1+n_2+1)}{12}\right)$$
构造U统计量（标准化）：
$$U=\frac{T-\frac{n_1(n_1+n_2+1)}{2}}{\sqrt{\frac{n_1{n}_2(n_1+n_2+1)}{12}}}\sim N(0,1)$$
拒绝域：$|U|>u_{1-\alpha /2}$（比如$\alpha =0.05$时，$u_{0.975}=1.96$）。

三、延伸方法1：符号检验法（配对样本）

（一）适用场景

配对样本的比较（比如同一组对象对两种产品的评分、同一对象实验前后的指标），且不满足正态分布（无法用t检验）。
例：N个品酒人对甲乙两种酒评分（$X_i$为甲酒评分，$Y_i$为乙酒评分），检验“两种酒是否一样好”。

（二）核心思想

只关注“配对数据的差异符号”，不关注差异大小：

• 记$Z_i=X_i-Y_i$，若$Z_i>0$，记“+”（甲优于乙）；$Z_i<0$，记“-”（乙优于甲）；$Z_i=0$，记“0”（无差异）；
• 若$H_0$（两种酒一样好）成立，“+”和“-”出现的概率均为1/2，$n_{+}$（“+”的个数）服从二项分布$b(n,1/2)$（$n=n_{+}+n_{-}$，排除“0”的个数）。

（三）检验步骤

1. 建立假设：$H_0$（两种酒一样好，$\theta =1/2$）vs $H_1$（$\theta \ne 1/2$）；
2. 计算符号：对每个配对数据算$Z_i$，统计$n_{+}$（“+”数）、$n_{-}$（“-”数），$n=n_{+}+n_{-}$；
3. 小样本（$n\le 50$）：查符号检验临界值表，得$c$和$d=n-c$，拒绝域$n_{+}\ge c$或$n_{+}\le d$；
4. 大样本（$n>50$）：用正态近似，$U=\frac{2n_{+}-n}{\sqrt{n}}\sim N(0,1)$，拒绝域$|U|>u_{1-\alpha /2}$。

四、延伸方法2：符号秩和检验法（配对样本，改进版）

（一）符号检验法的不足

只考虑差异的“符号”，忽略了差异的“大小”（比如$Z_i=10$和$Z_i=1$都记“+”，但差异程度不同）。符号秩和检验弥补了这一缺陷——同时考虑符号和差异大小。

（二）核心思想

1. 计算配对差异$Z_i=X_i-Y_i$，排除$Z_i=0$的情况，剩余$n$个有效数据；
2. 对$|Z_i|$（差异绝对值）编秩，重复数据用秩平均法；
3. 定义符号秩和统计量$W^{+}$：所有$Z_i>0$的$|Z_i|$的秩之和；
4. 若$H_0$成立，$W^{+}$不应过大或过小（因为$Z_i>0$和$Z_i<0$的概率相等，秩也应均匀分布）。

（三）检验步骤

1. 建立假设：$H_0:F(x)=G(x)$（两种产品评价一致）vs $H_1:F(x)\ne G(x)$；
2. 计算差异$Z_i=X_i-Y_i$，保留$Z_i\ne 0$的样本；
3. 对$|Z_i|$编秩，处理结数据；
4. 计算$W^{+}$：累加$Z_i>0$对应的秩；
5. 小样本（$n\le 20$）：查符号秩和检验临界值表，得$c$和$d=\frac{n(n+1)}{2}-c$，拒绝域$W^{+}\ge c$或$W^{+}\le d$；
6. 大样本（$n>20$）：正态近似，$E(W^{+})=\frac{n(n+1)}{4}$，$Var(W^{+})=\frac{n(n+1)(2n+1)}{24}$，$U=\frac{W^{+}-E(W^{+})}{\sqrt{Var(W^{+})}}\sim N(0,1)$，拒绝域$|U|>u_{1-\alpha /2}$。

（四）例

题目背景

13个用户对甲乙两种产品评分，检验“用户对两种产品评价是否一致”，$\alpha =0.10$。

$i$ (用户)	1	2	3	4	5	6	7	8	9	10	11	12	13
$x_i$ (甲)	55	32	41	50	60	48	39	45	48	46	52	45	44
$y_i$ (乙)	45	37	43	55	44	50	43	46	51	47	55	46	41

分步解答

1. 计算差异$Z_i=X_i-Y_i$，并算$|Z_i|$：
   比如用户1：$X=55,Y=45$，$Z=10$，$|Z|=10$；用户2：$X=32,Y=37$，$Z=-5$，$|Z|=5$；
2. 对$|Z_i|$编秩（处理结数据，比如$|Z|=5$出现3次，秩取平均）；
3. 计算$W^{+}$：只累加$Z>0$的秩，得$W^{+}=12+13+6.5=31.5$；
4. 查临界值：$n=13$，$\alpha =0.10$，查表得$c=74$，$d=\frac{13\times 14}{2}-74=17$，拒绝域$W^{+}\ge 74$或$W^{+}\le 17$；
5. 判断：$17<31.5<74$，接受$H_0$，认为用户对两种产品评价无明显差异。

（五）例2

根据Wilcoxon符号秩检验，在显著性水平$\alpha =0.10$下，检验两种啤酒是否有显著差异。已知样本量$n=100$，乙种啤酒的正符号秩和$W^{+}=2200$。

在原假设（两种啤酒无差异）下，$W^{+}$的均值和方差分别为：

• 均值$\mu =\frac{n(n+1)}{4}=\frac{100\times 101}{4}=2525$
• 方差${\sigma }^2=\frac{n(n+1)(2n+1)}{24}=\frac{100\times 101\times 201}{24}=84587.5$，标准差 $\sigma \approx 290.84$

计算标准化统计量：
$$Z=\frac{W^{+}-\mu }{\sigma }=\frac{2200-2525}{290.84}\approx -1.1175$$
双侧检验的临界值为$z_{0.05}=1.645$。由于$|Z|=1.1175<1.645$，不拒绝原假设。

因此，在α=0.10水平上，这两种啤酒的得分没有显著差异。

五、总结

3种基于“秩”或“符号”的非参数检验方法核心应用场景和区别如下：

方法	适用场景	核心特点
秩和检验法	两个独立样本，检验分布是否相同	基于合并样本的秩和，不依赖总体分布
符号检验法	配对样本，检验差异是否存在	只关注差异符号，简单但忽略差异大小
符号秩和检验法	配对样本，检验差异是否存在	同时关注符号和差异大小，更有效

关键点：

1. 秩的核心性质：分布与总体无关，有结数据用秩平均法；
2. 秩和检验的核心：合并编秩→算秩和→查临界值（小样本）或正态近似（大样本）；
3. 配对样本优先选符号秩和检验（比符号检验更充分利用数据信息）。