66、变量选择方法的计算比较

变量选择方法的计算比较

在数据分析和建模中，变量选择是一个关键环节，它有助于我们从众多变量中挑选出对模型有重要影响的变量，从而提高模型的准确性和可解释性。本文将对传统方法、收缩方法和贝叶斯方法这三类变量选择方法进行计算比较，探讨它们在不同情况下的性能表现。

1. 研究背景与模型设定

我们的研究基于标准线性回归模型：$Y = X\beta + \varepsilon$，其中$\varepsilon \sim N(0, \sigma)$。真实模型是该线性回归模型的一个四项子模型。在不同的模拟场景中，我们考虑了$n > p$和$p > n$两种情况。当$n > p$时，模拟了常见的线性回归场景；当$p > n$时，我们先应用确定独立性筛选（SIS）方法，再使用各种收缩方法来确定最终模型，以保留某些收缩方法的 oracle 属性。同时，所有数据集都假定为标准化数据。

2. $n > p$ 情况下的模拟设定

为了进行模拟，我们进行了如下具体设定：
- 真实参数值 ：$\beta = (2.5, 3, 0, 0, 0, 1.5, 0, 0, 0, 4, 0)$，这意味着重要协变量的正确数量$q = 4$，其索引为${1, 2, 6, 9}$。
- 协变量生成方式 ：通常采用一阶自回归结构（AR(1)）生成协变量，即$X_j = \rho X_{j - 1} + u_j$，其中$u_j \sim N(0, 1)$，此时协方差结构为$Corr(X_j, X_k) = \rho^{|j - k|}$。我们还考虑了另一种协方差结构，即所有$X_j$之间