lasso回归_写给初学者的LASSO回归

LASSO回归是对回归算法正则化的一个例子。正则化是一种方法，它通过增加额外参数来解决过拟合问题，从而减少模型的参数、限制复杂度。正则化线性回归最常用的三种方法是岭回归、最小绝对值收敛和选择算子(LASSO)以及弹性网络回归。

在本文中，我将重点介绍LASSO，并且对岭回归和弹性网络回归做简单的扩展。

假设我们想在一个数据集上建立一个正则化回归模型，这个数据集包含n个观察和m个特征。

LASSO回归是一个L1惩罚模型，我们只需将L1范数添加到最小二乘的代价函数中：

看这里

通过增大超参数α的值，我们加强了模型的正则化强度，并降低了模型的权重。请注意，没有把截距项w0正则化，还要注意α=0对应于标准回归。

通过调整正则化的强度，某些权重可以变为零，这使得LASSO方法成为一种非常强大的降维技巧。

LASSO算法

• 对于给定的α，只需把代