分位回归中的统计推断

经典分位回归估计量的渐近正态性

本文将使用巴哈杜尔表达式(Bahadur representation)给出分位回归估计量的渐近正态性的完整证明过程。这个证明不仅展示了巴哈杜尔表达式的强大应用，也揭示了分位回归估计量的统计性质。

前提与记号

1. 巴哈杜尔表达式的基本概念

巴哈杜尔表达式由印度统计学家R.R. Bahadur在1966年首次提出，为统计量的渐近理论提供了强大的分析工具。这种表达式最初用于描述样本分位数的渐近行为，后来被扩展到更复杂的统计模型中。

对于简单的样本分位数，巴哈杜尔表达式将其表示为一个线性统计量与一个高阶余项之和。具体而言，对于独立同分布样本$X_1,X_2,\dots ,X_n$的$\tau$分位数估计量${\hat{q}}_n(\tau )$，其巴哈杜尔表达式为：

$${\hat{q}}_n(\tau )-q(\tau )=\frac{1}{nf(q(\tau ))}\sum _{i=1}^n[\tau -I(X_i\le q(\tau ))]+R_n$$

其中：

• $q(\tau )$是总体分布的真实$\tau$分位数
• $f(\cdot )$是概率密度函数
• $I(\cdot )$是示性函数
• $R_n$是余项，满足$R_n=o_p(n^{-1/2})$

2. 技术条件与要求

巴哈杜尔表达式成立需要一些技术条件：

1. 密度条件：在真实分位数$q(\tau )$附近，分布密度函数$f$存在且严格正（$f(q(\tau ))>0$）
2. 平滑性条件：密度函数在分位数附近满足Hölder连续性
3. 矩条件：随机变量具有有限的高阶矩

对于分位回归，还需要额外的条件：

1. 设计矩阵（协变量）满足一定的正则性条件
2. 条件分布的密度函数满足一致的平滑性条件
3. 参数空间是紧集

3.记号

现在让我们考虑经典的线性分位回归模型：
$$Q_{Y|X}(\tau |X)=X^{\prime }\beta (\tau )$$

分位回归估计量 $\hat{\beta }(\tau )$ 是通过最小化以下目标函数得到的：
$$\underset{\beta }{\min }\sum _{i=1}^n{\rho }_{\tau }(Y_i-X_i^{\prime }\beta )$$

其中 ${\rho }_{\tau }(u)=u(\tau -I(u<0))$ 是分位数检查函数(check loss function)。

证明步骤

步骤1：建立一阶条件

我们先分析目标函数的次梯度(subgradient)：
$$\partial \sum _{i=1}^n{\rho }_{\tau }(Y_i-X_i^{\prime }\beta )=\sum _{i=1}^n{X}_i\cdot {\psi }_{\tau }(Y_i-X_i^{\prime }\beta )$$

其中 ${\psi }_{\tau }(u)=\tau -I(u<0)$ 是检查函数的导数(除零点外)。

在最优解 $\hat{\beta }(\tau )$ 处，次梯度必须包含零向量：
$$\sum _{i=1}^n{X}_i\cdot {\psi }_{\tau }(Y_i-X_i^{\prime }\hat{\beta }(\tau ))=0$$

步骤2：应用泰勒展开

定义函数：
$$Z_n(\beta )=\frac{1}{n}\sum _{i=1}^n{X}_i\cdot {\psi }_{\tau }(Y_i-X_i^{\prime }\beta )$$

根据一阶条件，我们有 $Z_n(\hat{\beta }(\tau ))=0$。

对 $Z_n(\beta )$ 在真实参数 $\beta (\tau )$ 附近进行泰勒展开：
$$Z_n(\hat{\beta }(\tau ))=Z_n(\beta (\tau ))+\frac{\partial Z_n(\beta )}{\partial {\beta }^{\prime }}{|}_{\beta =\tilde{\beta }}\cdot (\hat{\beta }(\tau )-\beta (\tau ))$$

其中 $\tilde{\beta }$ 位于 $\hat{\beta }(\tau )$ 和 $\beta (\tau )$ 之间。

步骤3：计算导数矩阵

我们需要计算 $Z_n(\beta )$ 对 $\beta$ 的导数：

$$\frac{\partial Z_n(\beta )}{\partial {\beta }^{\prime }}=-\frac{1}{n}\sum _{i=1}^n{X}_i{X}_i^{\prime }\cdot f_{Y|X}(X_i^{\prime }\beta |X_i)$$

其中 $f_{Y|X}(\cdot |X_i)$ 是给定 $X_i$ 条件下 $Y$ 的条件密度函数。

为了简化记号，定义：
$$D_n(\beta )=-\frac{\partial Z_n(\beta )}{\partial {\beta }^{\prime }}=\frac{1}{n}\sum _{i=1}^n{X}_i{X}_i^{\prime }\cdot f_{Y|X}(X_i^{\prime }\beta |X_i)$$

当样本量 $n\to \infty$ 时，由大数定律可知 $D_n(\beta (\tau ))$ 收敛到：
$$D(\tau )=E[X{X}^{\prime }\cdot f_{Y|X}(X^{\prime }\beta (\tau )|X)]$$

步骤4：建立巴哈杜尔表达式

将泰勒展开式与一阶条件结合：
$$0=Z_n(\hat{\beta }(\tau ))=Z_n(\beta (\tau ))-D_n(\tilde{\beta })\cdot (\hat{\beta }(\tau )-\beta (\tau ))$$

重新整理这个等式：
$$\hat{\beta }(\tau )-\beta (\tau )=[D_n(\tilde{\beta }){]}^{-1}\cdot Z_n(\beta (\tau ))$$

这可以进一步重写为：
$$\hat{\beta }(\tau )-\beta (\tau )=[D(\tau ){]}^{-1}\cdot Z_n(\beta (\tau ))+R_n$$

其中余项：
$$R_n=\{[D_n(\tilde{\beta }){]}^{-1}-[D(\tau ){]}^{-1}\}\cdot Z_n(\beta (\tau ))$$

在适当的正则性条件下（例如设计矩阵和条件密度函数满足一定的平滑性和矩条件），我们可以证明 $R_n=o_p(n^{-1/2})$。

因此，我们得到巴哈杜尔表达式：
$$\sqrt{n}(\hat{\beta }(\tau )-\beta (\tau ))=[D(\tau ){]}^{-1}\cdot \frac{1}{\sqrt{n}}\sum _{i=1}^n{X}_i\cdot {\psi }_{\tau }(Y_i-X_i^{\prime }\beta (\tau ))+o_p(1)$$

步骤5：应用中心极限定理

接下来，我们需要研究表达式中的随机项：
$$\frac{1}{\sqrt{n}}\sum _{i=1}^n{X}_i\cdot {\psi }_{\tau }(Y_i-X_i^{\prime }\beta (\tau ))$$

我们可以证明：

1. 这些项是独立同分布的随机向量（因为原始观测是独立同分布的）

2. 它们的期望为零：
   $$E[X_i\cdot {\psi }_{\tau }(Y_i-X_i^{\prime }\beta (\tau ))]=E[X_i\cdot E[{\psi }_{\tau }(Y_i-X_i^{\prime }\beta (\tau ))|X_i]]$$

   由于 $\beta (\tau )$ 是条件 $\tau$ 分位数，所以 $P(Y_i\le X_i^{\prime }\beta (\tau )|X_i)=\tau$，这意味着：
   $$E[{\psi }_{\tau }(Y_i-X_i^{\prime }\beta (\tau ))|X_i]=\tau -P(Y_i\le X_i^{\prime }\beta (\tau )|X_i)=\tau -\tau =0$$

   因此 $E[X_i\cdot {\psi }_{\tau }(Y_i-X_i^{\prime }\beta (\tau ))]=0$

3. 它们具有有限的二阶矩（在适当的矩条件下）

根据多元中心极限定理，我们有：
$$\frac{1}{\sqrt{n}}\sum _{i=1}^n{X}_i\cdot {\psi }_{\tau }(Y_i-X_i^{\prime }\beta (\tau ))\stackrel{d}{\to }N(0,J(\tau ))$$

其中协方差矩阵 $J(\tau )=E[X_i{X}_i^{\prime }\cdot {\psi }_{\tau }(Y_i-X_i^{\prime }\beta (\tau ){)}^2]$。

步骤6：导出协方差矩阵

观察到：
$${\psi }_{\tau }(u{)}^2=(\tau -I(u<0){)}^2={\tau }^2\cdot I(u\ge 0)+(1-\tau {)}^2\cdot I(u<0)$$

给定 $X_i$，我们有：
$$P(Y_i-X_i^{\prime }\beta (\tau )<0|X_i)=\tau \text{和}P(Y_i-X_i^{\prime }\beta (\tau )\ge 0|X_i)=1-\tau$$

因此：
$$E[{\psi }_{\tau }(Y_i-X_i^{\prime }\beta (\tau ){)}^2|X_i]={\tau }^2\cdot (1-\tau )+(1-\tau {)}^2\cdot \tau =\tau (1-\tau )$$

这样我们得到：
$$J(\tau )=\tau (1-\tau )\cdot E[X_i{X}_i^{\prime }]$$

步骤7：确立渐近正态性

将中心极限定理的结果与巴哈杜尔表达式结合：
$$\sqrt{n}(\hat{\beta }(\tau )-\beta (\tau ))=[D(\tau ){]}^{-1}\cdot \frac{1}{\sqrt{n}}\sum _{i=1}^n{X}_i\cdot {\psi }_{\tau }(Y_i-X_i^{\prime }\beta (\tau ))+o_p(1)$$

根据斯拉茨基定理(Slutsky’s theorem)：
$$\sqrt{n}(\hat{\beta }(\tau )-\beta (\tau ))\stackrel{d}{\to }N(0,[D(\tau ){]}^{-1}\cdot J(\tau )\cdot [D(\tau ){]}^{-1})$$

代入 $J(\tau )=\tau (1-\tau )\cdot E[X_i{X}_i^{\prime }]$：
$$\sqrt{n}(\hat{\beta }(\tau )-\beta (\tau ))\stackrel{d}{\to }N\left(0,\tau (1-\tau )\cdot [D(\tau ){]}^{-1}\cdot E[X_i{X}_i^{\prime }]\cdot [D(\tau ){]}^{-1}\right)$$

其中：
$$D(\tau )=E[X_i{X}_i^{\prime }\cdot f_{Y|X}(X_i^{\prime }\beta (\tau )|X_i)]$$

结论与直观解释

我们已经完整证明了分位回归估计量 $\hat{\beta }(\tau )$ 的渐近正态性。这个证明的核心是巴哈杜尔表达式，它将非线性的估计问题线性化，使我们能够直接应用中心极限定理。

从直观上理解，渐近正态性意味着当样本量足够大时，分位回归估计量与真实参数的偏差（乘以 $\sqrt{n}$）近似服从正态分布。渐近方差的结构显示：

1. 方差与 $\tau (1-\tau )$ 成正比，这表明当 $\tau$ 接近 0 或 1 时（极端分位点），估计的精度会下降。

2. 条件密度 $f_{Y|X}$ 出现在分母位置，表明条件分布在分位点附近的密度越高，估计的精度越高。

3. 设计矩阵的二阶矩 $E[X_i{X}_i^{\prime }]$ 影响估计精度，这与线性回归类似。

巴哈杜尔表达式不仅为渐近正态性提供了证明工具，也为构建置信区间和进行假设检验提供了理论基础，使分位回归成为一种强大的统计方法。

参考文献

Bahadur, R. Raj. “A note on quantiles in large samples.” The Annals of Mathematical Statistics 37.3 (1966): 577-580.
Belloni, Alexandre, et al. “Conditional Quantile Processes Based on Series or Many Regressors.” arXiv, 2011, arXiv:1105.6154.
Chernozhukov, Victor, et al. “Inference on Counterfactual Distributions.” Econometrica, vol. 81, no. 6, 2013, pp. 2205-2268.
Gutenbrunner, Christian, and Jana Jurečková. “Regression Rank Scores and Regression Quantiles.” The Annals of Statistics, vol. 20, no. 1, 1992, pp. 305-330.
He, Xuming, and Qi-Man Shao. “A General Bahadur Representation of M-Estimators and Its Application to Linear Regression with Nonstochastic Designs.” The Annals of Statistics, vol. 24, no. 6, 1996, pp. 2608-2630.
Jurečková, Jana. “Asymptotic Relations of M-Estimates and R-Estimates in Linear Regression Model.” The Annals of Statistics, vol. 5, no. 3, 1977, pp. 464-472.
Kato, Kengo. “Asymptotic Normality of Powell’s Kernel Estimator.” Annals of the Institute of Statistical Mathematics, vol. 64, no. 2, 2012, pp. 255-273.
Knight, Keith. “Limiting Distributions for L1 Regression Estimators Under General Conditions.” The Annals of Statistics, vol. 26, no. 2, 1998, pp. 755-770.
Koenker, Roger. Quantile Regression. Cambridge University Press, 2005.
Koenker, Roger, and Gilbert Bassett. “Regression Quantiles.” Econometrica, vol. 46, no. 1, 1978, pp. 33-50.
Koenker, Roger, and Stephen Portnoy. “L-Estimation for Linear Models.” Journal of the American Statistical Association, vol. 82, no. 399, 1987, pp. 851-857.
Pollard, David. “Asymptotics for Least Absolute Deviation Regression Estimators.” Econometric Theory, vol. 7, no. 2, 1991, pp. 186-199.
Portnoy, Stephen. “Asymptotic Behavior of Regression Quantiles in Non-Stationary, Dependent Cases.” Journal of Multivariate Analysis, vol. 38, no. 1, 1991, pp. 100-113.
van der Vaart, Aad W., and Jon A. Wellner. Weak Convergence and Empirical Processes. Springer, 1996.
Welsh, Alan H. “On M-Processes and M-Estimation.” The Annals of Statistics, vol. 17, no. 1, 1989, pp. 337-361.