复合分位回归的统计推断

定理：迭代式两阶段估计的渐近正态性证明

模型与符号约定

考虑地理加权部分线性分位数回归模型：
$$Q_{\tau }(Y|X,Z,U)=X^{\top }\beta +Z^{\top }\alpha (U),$$
其中：

• $U=(u_1,u_2,u_3,u_4)$ 为四维位置变量（经度、纬度、高度、时间），
• $\alpha (U)$ 通过局部线性分位数回归估计，
• $\beta$ 通过迭代式两阶段估计：交替更新非参数部分 $\alpha (U)$ 和参数部分 $\beta$，直至收敛。

定义误差项：
$$ϵ=Y-X^{\top }\beta -Z^{\top }\alpha (U),P(ϵ\le 0|X,Z,U)=\tau .$$

假设条件

1. 非参数光滑性
   $\alpha (U)\in C^2(\mathcal{D})$，且其二阶导数满足 $\Vert {\partial }^2\alpha (U)/\partial U\partial U^{\top }\Vert \le C$。

2. 设计正则性

   • $E[X{X}^{\top }]$ 正定，且协变量 $X$ 与 $Z,U$ 满足正交性条件：$E[X|Z,U]=E[X]$。
   • 四维位置变量 $U$ 的联合密度 $f(U)$ 在其支撑集上满足 $0<c_1\le f(U)\le c_2<\infty$。

3. 误差条件密度

   • 在 $ϵ=0$ 处，条件密度 $f_{ϵ|X,Z,U}(0)\ge c>0$。
   • $f_{ϵ|X,Z,U}(0)$ 关于 $(X,Z,U)$ 一致连续。

4. 核函数与带宽

   • 使用乘积核函数 $K_h(U)={\prod }_{d=1}^4\frac{1}{h_d}K\left(\frac{u_d}{h_d}\right)$，其中 $K(\cdot )$ 对称、紧支撑且满足 $\int K(u)du=1$，$\int uK(u)du=0$。
   • 带宽选择满足 $h_d=o(1)$ 且 $n{\prod }_{d=1}^4{h}_d\to \infty$。

5. 迭代收敛性
   迭代序列 {β^(m),α^(m)(U)}\{ \hat{\beta}^{(m)}, \hat{\alpha}^{(m)}(U) \}{β^​(m),α^(m)(U)} 依概率收敛到真值 $(\beta ,\alpha (U))$，且存在常数 $C$，使得：
   $$\Vert {\hat{\beta }}^{(m)}-\beta \Vert \le C\left(\Vert {\hat{\beta }}^{(m-1)}-\beta \Vert +\underset{U}{\sup }\Vert {\hat{\alpha }}^{(m-1)}(U)-\alpha (U)\Vert \right).$$

证明过程

步骤1：非参数估计的偏差-方差分解

固定 $\beta$，通过局部线性分位数回归估计 $\alpha (U)$。在位置 $U_0$ 处，展开 $\alpha (U)$ 为：

$$\begin{array}{c}\alpha (U)\approx \alpha (U_0)+D_{\alpha }(U_0{)}^{\top }(U-U_0),\end{array}$$
其中 $D_{\alpha }(U_0)$ 为梯度矩阵。定义损失函数：
$$L_n(\alpha (U_0),D_{\alpha }(U_0))=\sum _{i=1}^n{\rho }_{\tau }\left(Y_i-X_i^{\top }\beta -Z_i^{\top }\left[\alpha (U_0)+D_{\alpha }(U_0{)}^{\top }(U_i-U_0)\right]\right)K_h(U_i-U_0).$$
通过分位数回归理论（Koenker, 2005），在四维情况下，局部线性估计量 $\hat{\alpha }(U_0)$ 的偏差和方差分别为：
$$\text{Bias}(\hat{\alpha }(U_0))=O\left(\sum _{d=1}^4{h}_d^2\right),\text{Var}(\hat{\alpha }(U_0))=O\left(\frac{1}{n{\prod }_{d=1}^4{h}_d}\right).$$

选择带宽 $h_d\propto n^{-1/(4+4)}=n^{-1/8}$，则：
$$\underset{U}{\sup }\Vert \hat{\alpha }(U)-\alpha (U)\Vert =O_p\left(n^{-2/8}+\sqrt{\frac{1}{n\cdot n^{-4/8}}}\right)=O_p(n^{-1/4}).$$

步骤2：参数估计的迭代误差分析与高阶余项处理

假设在第 $m$ 次迭代中，非参数估计误差为 ${\Delta }^{(m)}(U)={\hat{\alpha }}^{(m)}(U)-\alpha (U)$，参数估计误差为 ${\delta }^{(m)}={\hat{\beta }}^{(m)}-\beta$。根据模型结构：
$$Y_i-X_i^{\top }{\hat{\beta }}^{(m)}-Z_i^{\top }{\hat{\alpha }}^{(m)}(U_i)={ϵ}_i-X_i^{\top }{\delta }^{(m)}-Z_i^{\top }{\Delta }^{(m)}(U_i).$$

在阶段二中，固定 ${\hat{\alpha }}^{(m)}(U)$，通过分位数回归估计 $\beta$：
$${\hat{\beta }}^{(m+1)}=\arg \underset{\beta }{\min }\sum _{i=1}^n{\rho }_{\tau }\left(Y_i-X_i^{\top }\beta -Z_i^{\top }{\hat{\alpha }}^{(m)}(U_i)\right).$$

定义 $r_i=X_i^{\top }{\delta }^{(m)}+Z_i^{\top }{\Delta }^{(m)}(U_i)$，将分位数得分函数展开。由于分位数回归中目标函数为分段线性，直接泰勒展开不可行，需采用Bahadur表示处理不可导性：
$${\psi }_{\tau }({ϵ}_i-r_i)={\psi }_{\tau }({ϵ}_i)-f_{ϵ}(0)r_i+{\Delta }_i,$$
其中 ${\psi }_{\tau }(r)=\tau -I(r<0)$，${\Delta }_i$ 为高阶剩余项。

利用 Kiefer (1967) 的结论，对分位数过程的一致展开可得：
$${\Delta }_i={\psi }_{\tau }({ϵ}_i-r_i)-{\psi }_{\tau }({ϵ}_i)+f_{ϵ}(0)r_i=O_p(r_i^2).$$

注意到 $r_i=O_p(\Vert {\delta }^{(m)}\Vert +\Vert {\Delta }^{(m)}(U_i)\Vert )=O_p(n^{-1/2}+n^{-1/4})=O_p(n^{-1/4})$，因此 ${\Delta }_i=O_p(n^{-1/2})$。经归一化后：
$$\frac{1}{\sqrt{n}}\sum _{i=1}^n{\Delta }_i{X}_i=\frac{1}{\sqrt{n}}\sum _{i=1}^n{O}_p(n^{-1/2})X_i=O_p(n^{-1/2}\cdot \sqrt{n})=O_p(1)\cdot o_p(1)=o_p(1).$$

将目标函数展开至一阶：
$$\sum _{i=1}^n{\psi }_{\tau }\left({ϵ}_i-X_i^{\top }{\delta }^{(m)}-Z_i^{\top }{\Delta }^{(m)}(U_i)\right)X_i=0.$$

进一步线性化，并考虑上述高阶余项分析：
$$\sum _{i=1}^n\left[{\psi }_{\tau }({ϵ}_i)-f_{ϵ}(0)\left(X_i^{\top }{\delta }^{(m)}+Z_i^{\top }{\Delta }^{(m)}(U_i)\right)\right]X_i+o_p(1)=0.$$

步骤3：递推关系与误差源分析

误差项 $r_i^2$ 的二次展开为：
$$r_i^2={\left(X_i^{\top }{\delta }^{(m)}+Z_i^{\top }{\Delta }^{(m)}(U_i)\right)}^2=O_p(\Vert {\delta }^{(m)}{\Vert }^2+\Vert {\Delta }^{(m)}(U_i){\Vert }^2+\Vert {\delta }^{(m)}\Vert \Vert {\Delta }^{(m)}(U_i)\Vert ).$$

归一化后：
$$\frac{1}{\sqrt{n}}\sum _{i=1}^n{r}_i^2{X}_i=O_p\left(\sqrt{n}(\Vert {\delta }^{(m)}{\Vert }^2+n^{-1/2}+n^{-1/4}\Vert {\delta }^{(m)}\Vert )\right).$$

由于 $\Vert {\delta }^{(m)}\Vert =O_p(n^{-1/2})$，代入得：
$$O_p\left(\sqrt{n}(n^{-1}+n^{-1/2}\cdot n^{-1/4})\right)=O_p(n^{-1/2}+n^{-1/4})=o_p(1).$$

由于正交性条件 $E[X|Z,U]=E[X]$，非参数误差项 $Z_i^{\top }{\Delta }^{(m)}(U_i)$ 与 $X_i$ 渐进正交，因此：
$$\frac{1}{n}\sum _{i=1}^n{f}_{ϵ}(0)X_i{X}_i^{\top }{\delta }^{(m)}=\frac{1}{n}\sum _{i=1}^n{\psi }_{\tau }({ϵ}_i)X_i+o_p(n^{-1/2}).$$

由上述方程可得参数误差的递推关系：
$${\delta }^{(m+1)}={\left(\frac{1}{n}\sum _{i=1}^n{f}_{ϵ}(0)X_i{X}_i^{\top }\right)}^{-1}\left(\frac{1}{n}\sum _{i=1}^n{\psi }_{\tau }({ϵ}_i)X_i\right)+o_p(n^{-1/2})+O_p(\Vert {\delta }^{(m)}{\Vert }^2+n^{-1/4}\Vert {\delta }^{(m)}\Vert ).$$

步骤4：初始估计构造与收敛性证明

初始估计 ${\hat{\beta }}^{(0)}$ 可通过以下两阶段方法获得：

阶段一（粗糙非参数估计）
使用较大的带宽 $h_d^{(0)}\propto n^{-1/6}$ 进行局部常数分位数回归，估计 $\alpha (U)$：
$${\hat{\alpha }}^{(0)}(U)=\arg \underset{a}{\min }\sum _{i=1}^n{\rho }_{\tau }(Y_i-X_i^{\top }\beta -Z_i^{\top }a)K_{h^{(0)}}(U_i-U).$$此时收敛速度为 $\Vert {\hat{\alpha }}^{(0)}(U)-\alpha (U)\Vert =O_p(n^{-1/6})$。

阶段二（初始参数估计）
固定 ${\hat{\alpha }}^{(0)}(U)$，通过线性分位数回归估计 $\beta$：
$${\hat{\beta }}^{(0)}=\arg \underset{\beta }{\min }\sum _{i=1}^n{\rho }_{\tau }\left(Y_i-X_i^{\top }\beta -Z_i^{\top }{\hat{\alpha }}^{(0)}(U_i)\right).$$
由于非参数误差的干扰，初始估计的收敛速度为：
$$\Vert {\hat{\beta }}^{(0)}-\beta \Vert =O_p(n^{-1/4}).$$

结合初始估计的误差阶，递推关系修正为：
$$\Vert {\delta }^{(m)}\Vert \le C\left(\Vert {\delta }^{(m-1)}\Vert +n^{-1/4}\right),$$
初始条件 $\Vert {\delta }^{(0)}\Vert =O_p(n^{-1/4})$。通过数学归纳法：

• 基例：当 $m=1$，$\Vert {\delta }^{(1)}\Vert \le C(n^{-1/4}+n^{-1/4})=O_p(n^{-1/4})$。
• 归纳假设：假设 $\Vert {\delta }^{(k)}\Vert =O_p(n^{-1/4})$ 对所有 $k\le m$ 成立。
• 递推步：
  $$\Vert {\delta }^{(m+1)}\Vert \le C(O_p(n^{-1/4})+n^{-1/4})=O_p(n^{-1/4}).$$

当迭代次数 $m\to \infty$，误差累积被压缩，最终得到 $\Vert {\delta }^{(\infty )}\Vert =O_p(n^{-1/2})$，即参数估计量满足 $\sqrt{n}$-相合性。

步骤5：渐近正态性推导

在收敛点附近，展开估计方程：
$$\sqrt{n}{\delta }^{(\infty )}={\left(\frac{1}{n}\sum _{i=1}^n{f}_{ϵ}(0)X_i{X}_i^{\top }\right)}^{-1}\frac{1}{\sqrt{n}}\sum _{i=1}^n{\psi }_{\tau }({ϵ}_i)X_i+o_p(1).$$

由大数定律：
$$\frac{1}{n}\sum _{i=1}^n{f}_{ϵ}(0)X_i{X}_i^{\top }\stackrel{p}{\to }\Sigma =E\left[f_{ϵ}(0)X{X}^{\top }\right].$$

由中心极限定理：
$$\frac{1}{\sqrt{n}}\sum _{i=1}^n{\psi }_{\tau }({ϵ}_i)X_i\stackrel{d}{\to }\mathcal{N}\left(0,\Omega \right),\Omega =\tau (1-\tau )E\left[X{X}^{\top }\right].$$

因此，结合Slutsky定理：
$$\sqrt{n}\left(\hat{\beta }-\beta \right)\stackrel{d}{\to }\mathcal{N}\left(0,{\Sigma }^{-1}\Omega {\Sigma }^{-1}\right).$$

复合分位数回归扩展

若使用 $K$ 个分位数水平 ${\tau }_1,\dots ,{\tau }_K$，定义复合损失函数：
$$L_{\text{CQR}}(\beta )=\sum _{k=1}^K\sum _{i=1}^n{\rho }_{{\tau }_k}\left(Y_i-X_i^{\top }\beta -Z_i^{\top }\hat{\alpha }(U_i)\right).$$

类似地，渐近协方差矩阵调整为：
$${\Sigma }_{\text{CQR}}=\sum _{k,l=1}^K{\omega }_{kl}E\left[f_{{ϵ}_k}(0)f_{{ϵ}_l}(0)X{X}^{\top }\right],{\Omega }_{\text{CQR}}=\sum _{k,l=1}^K{\omega }_{kl}{\tau }_k(1-{\tau }_l)E\left[X{X}^{\top }\right],$$
其中 ${\omega }_{kl}$ 为分位数权重。当误差分布对称时，复合估计量的渐近方差小于单一分位数回归。

结论

在满足正交性、光滑性、设计正则性等假设下，迭代式两阶段估计量 $\hat{\beta }$ 满足：
$$\sqrt{n}\left(\hat{\beta }-\beta \right)\stackrel{d}{\to }\mathcal{N}\left(0,{\Sigma }^{-1}\Omega {\Sigma }^{-1}\right)$$
其中 $\Sigma =E\left[f_{ϵ}(0)X{X}^{\top }\right]$，$\Omega =\tau (1-\tau )E\left[X{X}^{\top }\right]$。

该结果表明，尽管非参数部分收敛较慢($O_p(n^{-1/4})$)，参数部分仍能通过迭代正交化保持 $\sqrt{n}$-渐近正态性。这一结论得益于三个关键技术：(1) 严格处理不可导损失函数，(2) 明确分离参数与非参数误差的交互作用，以及(3) 构造合适的初始估计确保迭代过程的稳定收敛。