正则化（Regularization）

正则化（Regularization）是机器学习和统计建模中用来防止过拟合的一种技术。当模型过于复杂，例如拥有过多的参数或层级时，它可能会在训练数据上表现得非常好，但对未见过的数据（即测试数据或真实世界的数据）的泛化能力较差。这种情况被称为过拟合。

正则化通过向损失函数添加一个惩罚项来限制模型的复杂度，从而帮助提高模型的泛化能力。常见的正则化方法有以下几种：

1. L1 正则化 (Lasso)

•   L1 正则化会在损失函数中加入所有权重的绝对值之和作为惩罚项。
•  该方法倾向于产生稀疏的模型，即很多权重会变为0，因此它可以用于特征选择。
• 惩罚项为：λ * Σ||，其中 λ 是正则化强度， 是模型的权重。

2. L2 正则化 (Ridge)

• L2 正则化会在损失函数中加入所有权重的平方和作为惩罚项。
• 与L1不同，L2不会让权重变成零，而是将它们缩小，使得模型更加平滑。
• 惩罚项为：λ * Σ() 。

3.Elastic Net

• Elastic Net 是L1和L2正则化的结合，它同时包含L1和L2的惩罚项。
• 这种方法在处理高度相关的特征时尤其有用。
• 惩罚项为：λ *