Lasso（Least Absolute Shrinkage and Selection Operator）

1. Lasso是什么？

Lasso是一种线性回归的正则化方法，全称为最小绝对值收缩和选择算子（Least Absolute Shrinkage and Selection Operator）。通过在目标函数中加入L1正则化项，Lasso实现了以下两个主要目标：

• 收缩（Shrinkage）：将一些回归系数的绝对值缩小，防止模型过拟合。
• 特征选择（Selection）：将不重要的特征的回归系数压缩到0，从而自动选择重要特征。

Lasso由统计学家Robert Tibshirani于1996年提出，发表在《Journal of the Royal Statistical Society》上，是一种兼顾模型简化和预测精度的强大工具。

Lasso与普通线性回归的区别

普通线性回归的目标是优化最小二乘损失函数：
${\min }_{\beta }{\sum }_{i=1}^n(y_i-{\hat{y}}_i{)}^2={\min }_{\beta }{\sum }_{i=1}^n{\left(y_i-{\beta }_0-{\sum }_{j=1}^p{\beta }_j{x}_{ij}\right)}^2$
其中：

• $y_i$：第 $i$ 个样本的真实值；
• ${\hat{y}}_i$：第 $i$ 个样本的预测值；
• ${\beta }_0$：截距；
• ${\beta }_j$：第 $j$ 个特征的回归系数；
• $x_{ij}$：第 $i$ 个样本的第 $j$ 个特征值；
• $n$：样本数量；
• $p$：特征数量。

普通线性回归的问题在于：

1. 当特征数量 $p$ 很大时，模型容易过拟合。
2. 无法自动选择重要特征，所有特征的系数均非零。
3. 在特征之间存在多重共线性时，系数估计不稳定。

Lasso通过在损失函数中加入L1正则化项解决了这些问题。其目标函数为：