LASSO的解法

LASSO非常实用，但由于它的惩罚项不可以常规地进行求导，使得很多人以为它无法显式地求出解析解。但其实并不是这样的。

1 单变量情形：软阈值法

1.1 软阈值的分类讨论

将$N$个样本的真实值记为$N$维向量$y$，将$N$个样本的自变量记为$z$，假设我们已经将自变量做过标准化，即$z^{\prime }{\ell }_N=0$，$z^{\prime }z/N=1$，这也意味着在LASSO模型中截距项为$0$。系数$\beta$是要优化的参数，惩罚项参数为$\lambda >0$。

LASSO就是要求解
$$\underset{\beta }{\mathrm{argmin}}\frac{1}{2N}(y-z\beta {)}^{\prime }(y-z\beta )+\lambda |\beta |\text{\hspace{1em}(1)}$$

忽略常数项后，上式等价于
$$\underset{\beta }{\mathrm{argmin}}\frac{1}{2}{\beta }^2-\frac{y^{\prime }z}{N}\beta +\lambda |\beta |$$

将损失函数写成分段函数形式：
$$f(\beta )=\{\begin{array}{l}{f}_1(\beta )=\frac{1}{2}{\beta }^2-\left(\frac{y^{\prime }z}{N}+\lambda \right)\beta ,\beta <0\\ f_2(\beta )=\frac{1}{2}{\beta }^2-\left(\frac{y^{\prime }z}{N}-\lambda \right)\beta ,\beta \ge 0\end{array}$$

分类讨论：

• 若$\frac{y^{\prime }z}{N}>\lambda$，则$f_{}$