Hypothesis Testing(Chapter 5)[@XiruChen]

0. Outlines

1. 基本概念

• 假设，检验统计量，拒绝域；
• 功效函数；
• 两类错误，检验的水平；
• 假设检验的优良性准则（一致最优检验）；
• p-值；

2. 重要的参数检验

连续型随机变量：

• 正态总体均值的检验；
• 两正态总体均值差的检验；
• 正态总体方差的检验（一个总体&两个总体）；
• 指数分布参数的检验；

离散型随机变量

• 二项分布参数$p$的检验(符号检验)；
• 泊松分布参数$\lambda$的检验；

大样本检验

贝叶斯方法

3. 分布的检验（拟合优度检验）

---

1. 基本概念

1.1 假设，检验，检验统计量，拒绝域；

• 假设：分为原假设$H_0:\theta \in \Theta_0$和对立假设$H_a:\theta \in \Theta_a$;原假设为“原来的”保守假设；

• 检验统计量：检验一个假设时所用的统计量$T(\widetilde{X})$，其分布函数为$F$；

  • 最直观的检验统计量可以从估计量得到；
  • 似然比统计量等也是常用的检验统计量；

• 拒绝域：拒绝原假设的那些样本$\widetilde{X}=(X_1,...,X_n)$所组成的区域$R= \{\widetilde{X}| T(\widetilde{X})\ge C(\alpha)\}$称为拒绝域；

  • $\alpha$是检验水平，之后会提到;
  • $C(\alpha)$称为检验的临界值(critical value),显然是检验水平的函数，其选取非常重要；
  • 接受域$A$是拒绝域$R$关于样本空间$\Omega$的补集；

• 检验： 检验就是一个判断准则，如：“当$T(\widetilde{X})\ge C(\alpha)$时在检验水平$\alpha$下拒绝原假设，否则不能拒绝原假设”；

  • $T(\widetilde{X})\ge C(\alpha)$即为拒绝域；
  • 检验的组成元素：检验统计量$T(\widetilde{X})$,检验水平$\alpha$，拒绝域的定义；
  • 检验决定了功效函数；

• p-值: 对一个检验统计量$T(\widetilde{X})$,当$T$越大时，$H_1$越有可能是真的，那么对任意样本点$x$,定义
  

  $$p(x)=\sup_{\theta \in \Theta_0} P_{\theta}(W(X) \ge W(x))$$
  为p-值;
  • p-值不在Neyman-Pearson理论里；

• 这里$\theta$可以是标量，也可以是向量；

---

1.2 功效函数([@casella2002statistical2],p373-p400)

(Def): 未知参数$\theta$,样本$\widetilde{X}=(X_1,...,X_n)$,原假设$H_0$,对一个检验$\Phi$，其功效函数为：

$$\beta_{\Phi}(\theta)= P_{\theta}(\widetilde{X}\in R)= P_{\theta}(H_0 rejected);$$

Remarks：

1. 同一个原假设有很多检验方法，对各个检验方法的评估、比较就取决于检验的功效函数；
2. 功效函数是样本空间$\Omega \rightarrow [0,1]$上的函数；
3. 拒绝域$R$与检验水平、检验统计量的分布有关；

---

1.3 两类错误 检验的水平

两类错误:

• 一类错误：拒真$\alpha_1$；
• 二类错误：取伪$\alpha_2$;

• 功效函数为：
  

  $$\beta_{\Phi}(\theta) = \left\{ \begin{array}{ll} \alpha_1(\theta) & \textrm{if } \theta \in \Theta_0\\ 1- \alpha_2(\theta) & \textrm{if } \theta \in \Theta_a\\ \end{array} \right.$$

  Remarks:
  $1-\alpha_2(\theta)$称为该检验的功效（power）；

  检验的水平

  (Def): $\Phi$是原假设$H_0$的一个检验，其功效函数为$\beta_{\Phi}(\theta)$,有常数$\alpha$,s.t.对任意$\theta \in \Theta_0$,有：
  

  $$\beta_{\Phi}(\theta) \le \alpha,$$
  则称$\Phi$是一个水平为$\alpha$的检验，$\alpha$称为检验水平。

  ---

  1.4 假设检验的优良性准则（一致最优检验）

  (Def): （一致最优检验）

  设$\Phi$是一个水平为$\alpha$的检验，若对任何其他一个水平为$\alpha$的检验$g$，对任意$\theta \in \Theta_a$有：
  

  $$\beta_{\Phi}(\theta) \ge \beta_g(\theta),$$
  则称$\Phi$是检验问题$H_0:H_1$的一个水平$\alpha$的一致最优检验。

  Remarks:

  1. 如上限制第一类错误概率的原则及一致最优检验这些假设检验理论由Nayman & Pearson提出，称为“Nayman-Pearson理论”；
  2. 之后还会有p-value 的理论提出；
  3. 从实际来看，一致最优检验往往是非常难找的，但是这种检验方法比较的思想确实一致的；
  4. Statistical inference 书上有其它的hypothesis testing evaluation 方法，可以细看；

  ---

  2. 重要的参数检验

  2.1 连续型随机变量：

  • 正态总体均值的检验；
  • 两正态总体均值差的检验；
  • 正态总体方差的检验（一个总体&两个总体）；
  • 指数分布参数的检验；

  Remarks: 这里以“正态总体均值的检验”为例，介绍假设，检验的设定，检验统计量的选取，功效函数的推导，确定名义水平后拒绝域的临界值的计算，考虑检验分辨率的情形下样本量$n$的选取问题。

  正态总体均值的检验

  • $X_1,X_2,\cdots,X_n,\cdots\stackrel{i.i.d.}{\sim}N(\theta,\sigma^2)$,其中方差$\sigma^2$已知，假设检验问题为：
    $$H_0: \theta \le \theta_0 \leftrightarrow H_a: \theta > \theta_0.$$

  • 初步提出检验$\phi$: 当$\bar{X} \le C$时接受$H_0$,否则拒绝$H_0$（所谓初步是指还带有未知量，如这里的$C$）；
  • 检验水平$\alpha$, 已知$\frac{\bar{X}-\theta}{\sigma/\sqrt{n}}\sim N(0,1)$;
  • 检验$\phi$的功效函数:
    $$\beta_{\phi}(\theta)= P_{\theta}(\bar{X}>C)= 1-P_{\theta}(\frac{\bar{X}-\theta}{\sigma/\sqrt{n}} \le \frac{C-\theta}{\sigma/\sqrt{n}});$$
    
    • 功效函数关于$\theta$单调递增；
    • 因此要达到水平$\alpha$，只需要$\beta_{\phi}(\theta_0)= \alpha$即可，解出临界值$C(\alpha)= \theta_0 + \sigma/\sqrt{n}\mu_{\alpha}$;
    • 此处$\mu_{\alpha}$为标准正态分布的上$\alpha$分位数，即$\Phi(\mu_{\alpha})=1-\alpha$;
  • 检验统计量为$T = \frac{\bar{X}-\theta_0}{\sigma/\sqrt{n}}$,那么$T \stackrel{H_0}{\sim} N(0,1)$;

  • 综上，更新水平为$\alpha$的检验$phi$与对应功效函数如下：

    • 检验$\phi'$: 当$\bar{X}\le \theta_0 + \sigma/\sqrt{n}\mu_{\alpha}$时，接受$H_0$,否则拒绝$H_a$;
    • 功效函数：$\beta_{\phi'}(\theta)= 1- \Phi(\frac{\sqrt{n}(\theta_0-\theta)}{\sigma}+\mu_{\alpha});$
    • $\Phi(x)$为标准正态分布的c.d.f;

  • 若对检验功效$\beta$还有要求时，（比如提要求：选定$\theta_1> \theta_0$，要求当任意$\theta> \theta_1$,$\beta_{\phi'}(\theta) \ge 1-\beta$），那么所需最小样本量$n$可以求解如下，这在试验设计时比较重要：

    • 因为功效函数是单增的，因此求解$\beta_{\phi'}(\theta_1)\le 1-\beta$即可，可得样本量$n \ge \frac{(\mu_a+\mu_b)^2\sigma^2}{(\theta_1-\theta_0)^2}$；

    • 这是在达到一定分辨率（$|\theta_1-\theta_0|$）的条件下控制第二类错误；
    • 但是，对很多检验来说，这个$n$都是求不出来的；

  

  ---

  2.2 离散型随机变量

  2.2.1 二项分布参数$p$的检验(符号检验)；

  Remarks:

  1. 因为总体分布为离散分布，因此不能恰好得到检验水平$\alpha$的拒绝域，这时有两种解决方法：

     • 用随机化检验的方法达到预定的检验水平$\alpha$；
     • 稍微调整检验水平$\alpha$到$\alpha_1$，使得新水平$\alpha_1$能够恰好达到；
     • 一般来说第二种更加常用并好理解；

  2. 在非参数检验问题中有一类符号检验问题，即将配对数据处理成符号数据，进一步提出新的假设检验$H_0:p=\frac{1}2 \leftrightarrow H_a:p \neq \frac{1}2$，这种处理方式更加稳健；对总体分布没有特殊假定；

  2.2.2 泊松分布参数$\lambda$的检验；

  Remarks:
  若样本为$(X_1,...,X_n)$,令$X = \sum_{i=1}^n X_i$,那么$X$仍为泊松分布，只是新参数为$n\lambda$.

  2.3 大样本检验

  • 检验统计量的确切分布不易求出，那么可依据其极限分布来确定临界值$C(\alpha)$;
  • 由于是近似的，因此实际水平与名义水平$\alpha$ 有一定差距，是我们通常要讨论的问题；
  • 大样本方法在科研中是常用的，需要熟悉；

  2.4 贝叶斯方法

  在求得参数$\theta$的后验概率分布$h(\theta|\widetilde{X})$后,分别计算条件概率$P(H_0|\widetilde{X})$和$P(H_a|\widetilde{X})$;
  若前者大于后者，那么就接受$H_0$,否则就拒绝原假设。

  Remarks:

  • 贝叶斯方法是与Neyman-Pearson理论完全不同的方法，没有“检验水平”这一概念；
  • 不需要寻找统计量，求统计量的确切分布；
  • 贝叶斯方法有时可以用于一些特殊的假设检验问题，如$H_0:a \le \theta \le b$,$H_a: \theta <a$或$\theta > b$;这类问题对Neyman-Pearson理论来说是棘手的；

  ---

  3. 分布的检验（拟合优度检验）

  拟合优度检验就是检验一批数据是否与某种理论分布符合；

  3.1 理论分布已知且只取有限个值

  • 假设： $H_0:P(X=a_i)=p_i,i=1,...,k$;
  • 理论-经验分布表：

  类别	$a_1$	…	$a_k$
  理论值	$np_1$	…	$np_k$
  观测值	$\nu_1$	…	$\nu_k$

  * Pearson 拟合优度$\chi^2$统计量：
  $Z = \sum_{i=1}^k \frac{(np_i-\nu_k)^2}{np_i}$
  * 统计量分布（由Pearson 证明）
  (Thm) 如果原假设$H_0$成立，那么$n \rightarrow \infty$时，$Z \rightarrow \chi_{k-1}^2$;
  * 检验：$\phi$: 当$Z \le \chi_{k-1}^2(\alpha)$时，在水平$\alpha$下接受原假设$H_0$，否则拒绝原假设；
  * 拟合优度（其实就是p-值）:$p(Z_0)=P(Z \ge Z_0|H_0)$;

  3.2 理论分布只取有限个值但不完全已知（多项分布）

  • 相较3.1 需要多一步理论分布的参数估计步骤，与此同时统计量的零分布也有所不同；
  • 设组数有$k$组，未知参数个数为$r$,($p_i = p_i(\theta_1,...\theta_r),i=1,...,k$),那么先用极大似然估计法估计出未知参数$\hat{\theta}_i,i=1,...,r$，进而求得$\hat{p}_i= p_i(\hat{\theta}_1,...\hat{\theta}_r)$;
    
    • 似然函数易由多项分布得到；
  • 将估计值带入统计量的表达式：$Z = \sum_{i=1}^k \frac{(n\hat{p}_i-\nu_k)^2}{n\hat{p}_i}$；
  • 检验统计量的零分布：(Fisher改正了Pearson的错误)
    (Thm)：$H_0$下，当$n \rightarrow \infty$时，$Z \rightarrow \chi_{k-1-r}^2$;
  • 在列联表中有重要应用，如独立性检验，齐一性检验；

  在列联表中有重要应用

  • 检验两个属性$A,B$独立性，其中$A,B$分别有$a,b$种水平;
  • $H_0:A,B 独立$；
  • 经计算，$\chi^2$统计量$Z=\sum_{i=1}^a \sum_{j=1}^b (nn_{ij}-n_{i.}n_{.j})^2/(nn_{i.}n_{.j});$
  • 在零分布下检验统计量服从自由度为$(a-1)(b-1)$的$\chi^2$-分布；

  独立性检验：A,B两个属性均是随机选取的，即采样以后才知道；
  齐一性检验：其中一个属性在抽样时是已知的，这种情况理论证明以上分布仍然适用。

  3.3 理论分布为一般分布的情形

  • 若一般分布为连续型分布，那么就化连续为离散；
  • 若一般分布为取值个数无限的离散分布，那么就行并组操作；
  • 在分组时，组数$k$不应小于参数个数$r$+2;
  • 在检验前同样要先进行参数估计，可以类似之前的用MLE方法，若MLE难以求得，可以选取较为简单的估计量，此时统计量近似服从$\chi^2$-分布；

  ---

  References: