机器学习中结构风险最小化的正则化项用途及原理详解

一、概述

数学和工程领域，正则(Regularize)意味着使某物标准化或规范化，在机器学习领域指的是使模型的行为更加规范化，以避免极端或过于复杂的模型。

正则化项（Regularization Term）是机器学习模型中用于控制模型复杂度的一个附加项。正则化项的作用是使模型“正常化”或“规范化”，避免模型变得过于复杂或异常。它被添加到损失函数中，以防止模型过拟合（即在训练数据上表现很好，但在未见过的数据上表现差）。正则化通过限制模型参数的大小，减少了模型对训练数据的拟合程度，这有助于防止模型学习到数据中的随机噪声，从而提高模型在新数据上的表现。

常见的正则化：

• L1 正则化（也称为 Lasso 正则化）：