机器学习基础：什么是惩罚函数

1 惩罚函数的定义

惩罚函数（Penalty Function）是机器学习中用于控制模型复杂度的工具，通常与损失函数结合使用，以防止过拟合。

2 惩罚函数的作用

惩罚函数通过向损失函数添加一个正则化项，对模型参数施加约束，从而限制模型复杂度。

3 常见惩罚函数类型

L1正则化（Lasso回归）：

公式：

特点：倾向于产生稀疏权重，适用于特征选择。

L2正则化（Ridge回归）：

公式：

特点：缩小权重，但不产生稀疏解。

弹性网络正则化：

公式：

特点：结合L1和L2正则化，适用于高维数据。

3 惩罚函数的作用

防止过拟合：通过限制模型复杂度，提升泛化能力。

特征选择：L1正则化可自动选择重要特征。

提高稳定性：L2正则化能减少模型对数据扰动的敏感性。