正则化介绍

简单介绍

正则化是用于控制模型的复杂度，防止模型在训练数据上过度拟合（overfitting）。正则化通过在模型的损失函数中引入额外的惩罚项，来对模型的参数进行约束，从而降低模型的复杂度。这个额外的惩罚通常与模型参数的大小或者数量相关，旨在鼓励模型学习简单的规律，而不是过度拟合训练数据。正则化的作用有：防止模型过拟合，减少模型复杂程度，提高模型鲁棒性。

简单来说，正则化就是让对模型影响小的权重趋向零。使用L1正则化的模型叫做Lasso回归，使用L2正则化的模型叫做Ridge回归（岭回归）

L1正则化

方法：在损失函数后面加上倍的权重向量的1范数的平方。

优点介绍：让权重向量稀疏化和防止模型过拟合，下面通过摘录某篇博客的内容来介绍优点，如下。

• L1正则化可以使得参数稀疏化，即得到的参数是一个稀疏矩阵，可以用于特征选择。
  • 稀疏性，说白了就是模型的很多参数是0。通常机器学习中特征数量很多，例如文本处理时，如果将一个词组（term）作为一个特征，那么特征数量会达