正则化，Lasso回归和Ridge回归

目录

什么是正则化？

L1正则化和L2正则化

正则化力度α

Ridge回归的API

利用交叉验证与网格搜索来实现ridge回归：

---

什么是正则化？

正则化是一种用于降低模型复杂度并防止过拟合的技术。当模型过于复杂或过拟合训练数据时，正则化可以帮助减少模型的泛化误差，提高其在未见过数据上的表现。正则化通过在模型的损失函数中引入惩罚项，强制使模型参数的取值趋于较小的值。

在学习的时候，数据提供的特征有些影响模型复杂度或者这个特征的数据异常点较多，所以算法在学习的时候尽量减少这个特征的影响（甚至删除某些特征的影响），这就是正则化。

正则化分为L1正则化和L2正则化。

L1正则化和L2正则化

L2 正则化（Ridge 正则化）：可以使得某一些W的都很小，都接近于0，削弱某个特征的影响。

L1 正则化（Lasso 正则化）：可以使得其中某一些W的值直接等于0，删除这些特征的影响。

L1正则化倾向于使更多的权重为零。因此，它可以用于特征选择，消除不重要的特征。L2正则化倾向于使模型的权重矢量较小，但非零。

在实际的应用中，使用L2正则化会更多一点。使用L1正则化的回归又称Lasso回归，使用L2正则化的回归又称Ridge回归。