
一、概述
数学和工程领域,正则(Regularize)意味着使某物标准化或规范化,在机器学习领域指的是使模型的行为更加规范化,以避免极端或过于复杂的模型。
正则化项(Regularization Term)是机器学习模型中用于控制模型复杂度的一个附加项。正则化项的作用是使模型“正常化”或“规范化”,避免模型变得过于复杂或异常。它被添加到损失函数中,以防止模型过拟合(即在训练数据上表现很好,但在未见过的数据上表现差)。正则化通过限制模型参数的大小,减少了模型对训练数据的拟合程度,这有助于防止模型学习到数据中的随机噪声,从而提高模型在新数据上的表现。
常见的正则化:
- L1 正则化(也称为 Lasso 正则化):