18、改进回归分析：RIR与DAL方法详解

改进回归分析：RIR与DAL方法详解

在回归分析领域，为了提升模型性能和解决特定问题，研究人员不断探索新的方法。本文将详细介绍两种新的回归方法：岭迭代回归（RIR）和数据增强套索（DAL），并通过模拟研究和实际数据示例展示它们的优势。

1. 背景与动机

传统的岭回归在处理某些问题时存在局限性，如无法进行变量选择。为了解决这些问题，研究人员引入了数据增强技术，得到了改进的岭回归估计：
[
\hat{\boldsymbol{\beta}} {\text{modified ridge}} = \arg\min {\boldsymbol{\beta}}
\left\lVert
\begin{bmatrix}
\boldsymbol{y} \
\sqrt{\lambda} \hat{\boldsymbol{\beta}} {\text{aug}}
\end{bmatrix}
-
\begin{bmatrix}
\boldsymbol{X} \
\sqrt{\lambda} \boldsymbol{I}
\end{bmatrix}
\boldsymbol{\beta}
\right\rVert_2^2
]
其中，(\hat{\boldsymbol{\beta}} {\text{aug}}) 可以是零向量或其他估计值（如普通最小二乘法或岭回归的解）。这种新模型一方面可以解决奇异性问题，另一方面，对 (\boldsymbol{y}) 的增强应该是“可能的数据”。然而，无论 (\hat{\boldsymbol{\be