机器学习:正则化和超参数调优

正则化

正则化是机器学习和统计学中用于防止模型过拟合的技术。
正则化的核心思想是通过对模型参数施加约束,防止模型在训练数据上过拟合,从而提高其在新数据上的泛化能力。其主要原理就是向损失函数添加一个惩罚项,该惩罚通常是模型参数的某种范数,这样可以限制模型参数大小,避免参数过大而导致的复杂模型。

1.1 正则化的目的

• 防止过拟合
  过拟合指模型在训练数据上表现很好,但是在测试数据上表现很差。正则化则通过限制模型的复杂度,降低模型对训练数据中噪声的敏感度,从而减少过拟合的风险。
• 提高模型的泛化能力
  泛化能力是指模型对未见过的数据适应能力。正则化有助于提高模型在新数据上的表现,使其更加稳健和可靠。

1.2 线性模型正则化

1.2.1 岭回归
加入正则化后的损失函数形式为:
$$J(w)=Loss(w)+\gamma R(w)$$
其中:

• $Loss(w)$ 是原始损失函数,例如均方误差

• $R(w)$是正则化项,也称为惩罚项

• <