Wald检验
检验H0:θ=θ0, H1:θ≠θ0H_0:\theta = \theta_0, \ H_1:\theta \ne\theta_0H0:θ=θ0, H1:θ=θ0,如若θ^\hat{\theta}θ^是渐进正态的,则显著水平为α\alphaα的Wald检验是当∣W∣>zα/2|W|>z_{\alpha/2}∣W∣>zα/2时拒绝原假设,其中W=θ^−θ0se^.W=\frac{\hat{\theta}-\theta_0}{\hat{se}}.W=se^θ^−θ0.
Wald检验是易于理解的,首先阐述了估计量是渐进正态的,则在大样本下WWW就是标准正态变量,当满足∣W∣>zα/2|W|>z_{\alpha/2}∣W∣>zα/2意味着W出现的概率已经小于α\alphaα. 这一点可以通过下面的等式说明:
zα=Φ(1−α)Pθ(θ^−θ0se^>zα/2)+Pθ(θ^−θ0se^<−zα/2)=Pθ(∣θ^−θ0∣se^>zα/2)→Pθ(∣Z∣>zα/2)→α
\begin{aligned}
&z_{\alpha}=\Phi(1- \alpha)\\
&P_\theta(\frac{\hat{\theta}-\theta_0}{\hat{se}}>z_{\alpha/2})+ P_\theta(\frac{\hat{\theta}-\theta_0}{\hat{se}}<-z_{\alpha/2}) \\
&=P_\theta(\frac{|\hat{\theta}-\theta_0|}{\hat{se}}>z_{\alpha/2})\\
&\rightarrow P_\theta(|Z|>z_{\alpha/2})\\
&\rightarrow \alpha
\end{aligned}
zα=Φ(1−α)Pθ(se^θ^−θ0>zα/2)+Pθ(se^θ^−θ0<−zα/2)=Pθ(se^∣θ^−θ0∣>zα/2)→Pθ(∣Z∣>zα/2)→α
定理:考虑θ\thetaθ的真实值为θ∗≠θ0\theta^* \ne \theta_0θ∗=θ0,也就是原假设为加的时候的势函数(Power Function)大小,其近似值为:1−Φ(θ0−θ∗se^+zα/2)+Φ(θ0−θ∗se^−zα/2)1-\Phi(\frac{\theta_0-\theta^*}{\hat{se}}+z_{\alpha/2})+\Phi(\frac{\theta_0-\theta^*}{\hat{se}}-z_{\alpha/2})1−Φ(se^θ0−θ∗+zα/2)+Φ(se^θ0−θ∗−zα/2)
Proof:
β(θ∗)=Pθ∗(∣θ^−θ0se^∣>zα/2)=Pθ∗(θ^−θ0se^>zα/2)+Pθ∗(θ^−θ0se^<−zα/2)
\begin{aligned}
\beta(\theta^*) &= P_{\theta^*}(|\frac{\hat{\theta}-\theta_0}{\hat{se}}| >z_{\alpha/2})\\
&=P_{\theta^*}(\frac{\hat{\theta}-\theta_0}{\hat{se}} >z_{\alpha/2})+P_{\theta^*}(\frac{\hat{\theta}-\theta_0}{\hat{se}} <-z_{\alpha/2})
\end{aligned}
β(θ∗)=Pθ∗(∣se^θ^−θ0∣>zα/2)=Pθ∗(se^θ^−θ0>zα/2)+Pθ∗(se^θ^−θ0<−zα/2)为了方便起见,先考虑第一部分,第二部分的方法类似:
β(θ∗)=Pθ∗(θ^−θ0se^>zα/2)=Pθ∗(θ^>θ0+se^zα/2)=Pθ∗(θ^−θ∗>θ0−θ∗+se^zα/2)=Pθ∗(θ^−θ∗se^>θ0−θ∗+se^zα/2se^)=Pθ∗(θ^−θ∗se^>θ0−θ∗se^−zα/2)≈Pθ∗(Z>θ0−θ∗se^−zα/2)=1−Φ(θ0−θ∗se^−zα/2)
\begin{aligned}
\beta(\theta^*)
&=P_{\theta^*}(\frac{\hat{\theta}-\theta_0}{\hat{se}} >z_{\alpha/2})\\
&=P_{\theta^*}(\hat{\theta}>\theta_0+\hat{se} z_{\alpha/2})\\
&=P_{\theta^*}(\hat{\theta}-\theta^*>\theta_0-\theta^*+\hat{se} z_{\alpha/2})\\
&=P_{\theta^*}(\frac{\hat{\theta}-\theta^*}{\hat{se}}>\frac{\theta_0-\theta^*+\hat{se} z_{\alpha/2}}{\hat{se}})\\
&=P_{\theta^*}(\frac{\hat{\theta}-\theta^*}{\hat{se}}>\frac{\theta_0-\theta^*}{\hat{se}}-z_{\alpha/2})\\
&\approx P_{\theta^*}(Z>\frac{\theta_0-\theta^*}{\hat{se}}-z_{\alpha/2})\\
&=1-\Phi(\frac{\theta_0-\theta^*}{\hat{se}}-z_{\alpha/2})
\end{aligned}\\
β(θ∗)=Pθ∗(se^θ^−θ0>zα/2)=Pθ∗(θ^>θ0+se^zα/2)=Pθ∗(θ^−θ∗>θ0−θ∗+se^zα/2)=Pθ∗(se^θ^−θ∗>se^θ0−θ∗+se^zα/2)=Pθ∗(se^θ^−θ∗>se^θ0−θ∗−zα/2)≈Pθ∗(Z>se^θ0−θ∗−zα/2)=1−Φ(se^θ0−θ∗−zα/2)
p值
对于任意α∈(0,1)\alpha \in(0,1)α∈(0,1),存在显著性水平为α\alphaα的检验,对应的拒绝域为RαR_\alphaRα,则p−value=inf{α:T(Xn)∈Rα}p-value = \inf\{\alpha:T(X^n)\in R_\alpha \}p−value=inf{α:T(Xn)∈Rα}
这里TTT表示检验统计量,上式的含义是使得检验统计量属于拒绝域的最小显著水平α\alphaα。
和检验的过程不同,求取p-value的过程是这样的:先计算检验统计量,得到统计量之后反过来求最小显著水平。而检验的过程是已经确定一个显著水平,然后计算检验统计量,然后就确定是否拒绝原假设。
一般来说,这个最小显著水平p-value小于0.01时,说明证据可以很强的拒绝原假设。这等同于说,在原假设的情况下,出现这一组样本的概率可能最低达到0.01.(个人理解)当显著水平大于0.1时,不能拒绝原假设。