36、深入理解Lasso回归及其相关技术

深入理解Lasso回归及其相关技术

1. Lasso回归基础

Lasso回归中的软阈值函数定义为：
[SoftThreshold(x, \delta) \triangleq sign(x) (|x| - \delta) +]
其中 (x + = max(x, 0)) 是 (x) 的正部，这被称为软阈值化。

在图11.11(a)中，绘制了 (\hat{w}_d) 与 (c_d) 的关系。虚线表示最小二乘拟合的 (w_d = c_d / a_d) ，实线表示正则化估计 (\hat{w}_d) ，除了 (-\lambda \leq c_d \leq \lambda) 时将 (w_d) 设为0外，它将虚线向下（或向上）移动 (\lambda) 。

与之对比，图11.11(b)展示了硬阈值化。当 (-\lambda \leq c_d \leq \lambda) 时，将 (w_d) 的值设为0，但不收缩该区间外的 (w_d) 值。软阈值化线的斜率与对角线不重合，这意味着即使是大系数也会向零收缩，这就是Lasso代表“最小绝对选择和收缩算子”的原因，因此Lasso是有偏估计量。

对于有偏估计问题，一种简单的解决方案是去偏，采用两阶段估计过程：
1. 首先使用Lasso估计权重向量的支撑集（即确定哪些元素非零）；
2. 然后使用最小二乘法重新估计所选系数。

2. 正则化路径

当 (\lambda = 0) 时，得到普通最小二乘（OLS）解，该解是稠密的。随着 (\lambda) 增大，解向量 (\hat{w}(\lambda)) 趋于稀疏。当 (\lambda) 大于某个