14、统计估计方法：从子集选择到看似无关线性模型

统计估计方法：从子集选择到看似无关线性模型

1. 子集选择惩罚R估计量

1.1 相关定义与公式

在统计估计中，有一些重要的定义和公式。首先，$\Delta^2 = \eta^{-2}\delta_2^{\top}K_2^{-1}\delta_2$，其中$K = Diag(K_1, K_2)$，$Chmin(K_2^{-1})$是$K_2^{-1}$的最小特征值。假设$p_1$个参数超过噪声水平$\eta\sqrt{\kappa_j}$，$p_2$个参数未超过。LassoR估计量$\hat{\theta} {LassoR}^n(\lambda)$的ADL∗2 - 风险的下界为$ADL_2^*(risk(\hat{\theta} {LassoR}^n(\lambda))) = \eta^2(tr(K_1) + \Delta_L^2)$，这里$\Delta_L^2 = \Delta^2Chmin(K_2)$。基于此，ADRE（自适应相对效率）为$ADRE(\hat{\theta} {LassoR}^n(\lambda) : \hat{\theta} {UR}^n) = (1 + \frac{tr(K_2)}{tr(K_1)})(1 + \frac{\Delta^2Chmin(K_2)}{tr(K_1)})^{-1}$。

1.2 自适应LASSO（aLASSO）

自适应LASSO是LASSO的一种变体，其估计量$\hat{\theta} {aLassoR}^n(\lambda_n)$定义为：
$\hat{\theta} {aLassoR}^n(\lambda_n) = \arg\min