非参数统计基础1——Pearson检验

非参数统计基础1——Pearson检验

一、非参数假设检验的核心场景

当我们研究一个总体时，常常不知道它的分布类型（比如不知道是正态分布、泊松分布还是其他分布），这时候需要通过样本信息检验“总体是否服从某个预设分布”，或者“两个指标是否独立”——这类不依赖总体分布形式的检验，就是非参数假设检验。而Pearson检验是解决这两类问题最常用的非参数方法。

二、第一类应用：总体分布的拟合检验

（一）核心思想：用“频率 vs 概率”判断分布是否匹配

我们知道，当样本量足够大时，事件发生的频率会稳定在其概率附近（大数定律）。比如，如果总体真的服从泊松分布，那么样本中“出现$i$个$\alpha$粒子”的实际次数（实际频数$f_i$），应该和根据泊松分布计算的理论次数（理论频数$n{p}_i$，$n$是样本量，$p_i$是该事件的概率）相差不大。

Pearson检验的核心，就是用一个统计量量化“实际频数与理论频数的差异”，如果差异太大，就拒绝“总体服从预设分布”的假设。

（二）关键公式与定理

1. Pearson统计量：
   这个统计量专门衡量差异程度，公式为：
   $${\chi }^2=\sum _{i=1}^k\frac{(f_i-n{p}_i{)}^2}{n{p}_i}$$

   • 其中k是把总体取值范围分成的“互不相交的区间/事件类”个数；
   • $f_i$：第$i$类的实际频数（样本中落在该类的个数）；
   • $n{p}_i$：第$i$类的理论频数（根据预设分布计算的期望个数）。

   逻辑：如果总体真的服从预设分布（$H_0$成立），($f_i-n{p}_i$)应该很小，统计量${\chi }^2$会偏小；如果差异大，${\chi }^2$会偏大——所以我们用${\chi }^2$的大小作为检验标准。

2. Pearson定理（确定统计量的分布）：
   当样本量n充分大（通常要求n≥50）时，无论总体原本服从什么分布，统计量${\chi }^2$近似服从自由度为k-γ-1的χ²分布：

   • 若预设分布$F_0(x)$完全已知（无未知参数），则$\gamma =0$，自由度=k-1；
   • 若预设分布$F_0(x)$有$\gamma$个未知参数（比如泊松分布的$\lambda$、正态分布的$\mu$和$\sigma$），需要用极大似然估计求出这些参数，此时自由度=$k-\gamma -1$。

3. 使用注意事项：
   因为是“渐近分布”，必须满足两个条件：

   • 样本量$n\ge 50$；
   • 每个理论频数$n{p}_i\ge 5$（最好$\ge 10$），如果有$n{p}_i<5$，需要合并相邻的区间/类别，直到满足条件。

（三）检验步骤（6步走）

1. 建立假设：$H_0$：总体服从预设分布$F_0(x)$；$H_1$：不服从；
2. 划分区间/类别：把总体取值范围$(-\infty ,+\infty )$分成$k$个互不相交的类$A_1,A_2,\cdots ,A_k$；
3. 计算理论频数$n{p}_i$：若$F_0(x)$有未知参数，先做极大似然估计，再用得到的$F(x)$计算${\hat{p}}_i=P(X\in A_i)$，进而得到$n{\hat{p}}_i$（$n{p}_i$）；
4. 统计实际频数$f_i$：数样本中落在每个$A_i$的个数；
5. 计算${\chi }^2$统计量的值；
6. 查临界值：给定显著性水平$\alpha$，查${\chi }^2$分布表得${\chi }_{1-\alpha }^2$(自由度)，若${\chi }^2\ge {\chi }_{1-\alpha }^2$，则拒绝$H_0$，否则接受$H_0$。

（四）例：检验α粒子数是否服从泊松分布

题目背景

在铀放射实验中，观察$100$次（$n=100$），记录每次到达计数器的$\alpha$粒子数$X$，实际频数$f_i$如下：

粒子数$i$	0	1	2	3	4	5	6	7	8	9	10	11
实际频数$f_i$	1	5	16	17	26	11	9	9	2	1	2	1

理论上X应服从泊松分布：$P(X=i)=\frac{{\lambda }^i}{i!}{e}^{-\lambda }$（$\lambda$未知），试在$\alpha =0.05$下检验理论是否符合实际。

分步解答

1. 建立假设：
   $H_0$：$X\sim P(X=i)=\frac{{\lambda }^i}{i!}{e}^{-\lambda }$；$H_1$：不服从。

2. 估计未知参数λ：
   泊松分布的均值$E(X)=\lambda$，用极大似然估计（样本均值）：
   $$\hat{\lambda }=\bar{x}=\frac{{\sum }_{i=0}^{11}i\cdot f_i}{n}=\frac{0\times 1+1\times 5+2\times 16+...+11\times 1}{100}=4.2$$

3. 划分类别并计算理论频数$n{p}_i$：
   泊松分布是离散型，每个i就是一个类别，计算$n{p}_i=100\times \frac{4.2^i}{i!}{e}^{-4.2}$，结果如下（部分）：

   • $i=0$：$n{p}_0\approx 100\times 0.015=1.5$；
   • $i=1$：$n{p}_1\approx 6.3$；
   • $i=2$：$13.2$；
   • …；
   • $i=11$：$n{p}_{11}\approx 0.1$

   注意：$i=0（1.5）$、$i=8（3.6）$、$i=9（1.7）$、$i=10（0.7）$、$i=11（0.1）$的$n{p}_i<5$，需要合并！

4. 合并类别：
   合并后得到$k=8$个类别：
   {0,1},{2},{3},{4},{5},{6},{7},{8,9,10,11} \{0,1\},\{2\},\{3\},\{4\},\{5\},\{6\},\{7\},\{8,9,10,11\} {0,1},{2},{3},{4},{5},{6},{7},{8,9,10,11}

   合并后的理论频数均$\ge 5$（比如{0,1}\{0,1\}{0,1}的$np=1.5+6.3=7.8$）。

5. 计算χ²统计量：
   核心公式：$\sum \frac{(f_i-n{\hat{p}}_i{)}^2}{n{\hat{p}}_i}$，代入数据计算得：
   $${\chi }^2=0.415+0.594+0.122+2.245+1.723+0.505+0.609+0.014=6.257$$

6. 查临界值并判断：

   • 自由度=$k-\gamma -1=8-1-1=6$（$k=8$，$\gamma =1$个未知参数$\lambda$）；
   • 给定$\alpha =0.05$，查${\chi }^2$分布表得${\chi }_{0.95}^2(6)=12.592$；
   • 因为$6.257<12.592$，所以接受H₀，即认为$\alpha$粒子数服从$\lambda =4.2$的泊松分布。

三、第二类应用：二维列联表独立性检验

（一）核心问题：检验两个指标是否独立

比如“吸烟与否”和“是否患慢性气管炎”是否有关？“性别”和“偏好的手机品牌”是否有关？这类问题可以转化为“两个指标$X$和$Y$是否相互独立”，用列联表+Pearson检验解决。

补充：通常也称指标所取的状态为水平。

（二）r×s列联表的结构

假设$X$有$r$个类别（$A_1,\cdots ,A_r$），$Y$有$s$个类别（$B_1,\cdots ,B_s$），从总体抽$n$个样本，记录“$X\in A_i$且$Y\in B_j$”的个数$n_{ij}$（实际频数），整理成表格：

$Y\&X$	$B_1$	…	$B_s$	行合计$n_i$
$A_1$	$n_{11}$	…	$n_{1s}$	$n_1=n_{11}+\cdots +n_{1s}$
…	…	…	…	…
$A_r$	$n_{r1}$	…	$n_{rs}$	$n_r=n_{r1}+\cdots +n_{rs}$
列合计$n_j$	$n_1=n_{11}+\cdots +n_{r1}$	…	$n_s=n_{1s}+\cdots +n_{rs}$	总样本$n$

（三）检验逻辑与公式

1. 假设：$H_0$：$X$与$Y$相互独立；$H_1$：不独立。
2. 独立的等价条件：若$X$与$Y$独立，则$P(X\in A_i,Y\in B_j)=P(X\in A_i)\cdot P(Y\in B_j)$，即$p_{ij}=p_i\cdot p_j$。
3. 理论频数估计：
   • 用频率估计概率：${\hat{p}}_i\cdot =\frac{n_i}{n}$（$X\in A_i$的概率），${\hat{p}}_j=\frac{n_j}{n}$（$Y\in B_j$的概率）；
   • 理论频数：$n{\hat{p}}_{ij}=n\cdot {\hat{p}}_i\cdot {\hat{p}}_j=\frac{n_i\cdot n_j}{n}$。
4. 检验统计量：
   $${\chi }^2=\sum _{i=1}^r\sum _{j=1}^s\frac{(n_{ij}-\frac{n_i\cdot n_j}{n}{)}^2}{\frac{n_i\cdot n_j}{n}}$$
5. 自由度：$(r-1)(s-1)$（因为有$r+s-2$个独立未知参数）。

（四）例：慢性气管炎与吸烟的独立性检验

题目背景

抽查50岁以上$339$人，得到$2\times 2$列联表（$X$=吸烟与否，$Y$=患气管炎与否）：

	患慢性气管炎（$B_1$）	未患慢性气管炎（$B_2$）	行合计$n_i$
吸烟（$A_1$）	43（$n_{11}$）	162（$n_{12}$）	205（$n_1$）
不吸烟（$A_2$）	13（$n_{21}$）	121（$n_{22}$）	134（$n_2$）
列合计$n_j$	56（$n_1$）	283（$n_2$）	339（$n$）

试在$\alpha =0.01$下检验“吸烟”与“患慢性气管炎”是否独立。

分步解答

1. 建立假设：$H_0$：吸烟与患气管炎独立；$H_1$：不独立。

2. 计算理论频数：
   每个单元格的理论频数$n{\hat{p}}_{ij}=\frac{n_i\cdot n_j}{n}$：

   • $n_{11}$的理论频数：$\frac{205\times 56}{339}\approx 33.86$；
   • $n_{12}$的理论频数：$\frac{205\times 283}{339}\approx 171.14$；
   • $n_{21}$的理论频数：$\frac{134\times 56}{339}\approx 22.14$；
   • $n_{22}$的理论频数：$\frac{134\times 283}{339}\approx 111.86$。

3. 计算χ²统计量：
   $${\chi }^2=\frac{(43-33.86{)}^2}{33.86}+\frac{(162-171.14{)}^2}{171.14}+\frac{(13-22.14{)}^2}{22.14}+\frac{(121-111.86{)}^2}{111.86}\approx 7.4688$$

4. 查临界值并判断：

   • 自由度$=(2-1)(2-1)=1$；
   • $\alpha =0.01$，查${\chi }^2$分布表得${\chi }_{0.99}^2(1)=6.635$；
   • 因为$7.4688>6.635$，所以拒绝H₀，即认为吸烟与患慢性气管炎有密切关系！

四、总结

Pearson检验的核心是“用${\chi }^2$统计量衡量实际与理论的差异”，主要解决两类问题：

1. 总体分布的拟合检验（判断总体是否服从预设分布）；
2. 列联表独立性检验（判断两个指标是否相关）。

关键点：

• 统计量的核心是“(实际-理论)²/理论”的求和；
• 自由度的计算：拟合检验是$k-\gamma -1$，独立性检验是$(r-1)(s-1)$；
• 样本量$n\ge 50$，理论频数$n{p}_i\ge 5$（否则合并类别）。