L1正则化与L2正则化的区别

linux_py

于 2025-03-29 23:40:14 发布

阅读量845

点赞数 25

文章标签：深度学习

本文链接：https://blog.youkuaiyun.com/linux_py/article/details/146717838

版权

在机器学习中，L1正则化（Lasso）和L2正则化（Ridge）是两种常用的正则化技术，用于防止模型过拟合。它们通过不同的方式对模型参数进行约束，适用于不同的场景。以下是它们的核心区别及适用场景分析：

1. L1正则化（Lasso）

核心特点：

惩罚项：对权重（参数）的绝对值求和（λ∑∣wi∣）。
效果：倾向于将某些权重压缩到零，生成稀疏模型（部分特征被完全剔除）。
数学性质：在损失函数中引入“尖角”的约束条件（菱形约束区域），使得最优解容易出现在坐标轴上。

适用场景：

特征选择：当数据维度高（特征数量多）且认为只有少量特征重要时，L1能自动筛选关键特征。
- 例如：基因数据（成千上万个基因中找出少数致病基因）、文本分类（高维稀疏词向量）。
模型轻量化：稀疏模型参数更少，计算和存储效率更高。
解释性需求：需要明确哪些特征对预测结果有贡献的场景。

缺点：

如果特征高度相关，L1可能随机选择一个特征，忽略其他相关特征。
当真实模型中大部分特征都重要时，L1的稀疏性反而会导致性能下降。

2. L2正则化（Ridge）

核心特点：

惩罚项：对权重的平方求和（λ∑wi2）。
效果：使权重趋向于较小的值，但不会完全为零，保留所有特征。
数学性质：在损失函数中引入“平滑”的约束条件（圆形约束区域），使得权重分布更均匀。

适用场景：

处理多重共线性：当特征间高度相关时，L2能稳定模型，防止参数剧烈波动。
- 例如：经济指标预测（GDP、失业率等指标可能相关）、图像处理（相邻像素高度相关）。
防止过拟合：在特征数量较多但样本量较少时，L2能有效约束模型复杂度。
需要平滑输出：如回归任务中，希望模型对输入变化不敏感。

缺点：

无法自动进行特征选择，所有特征都会被保留，可能包含冗余信息。

3. 对比总结

特性	L1正则化（Lasso）	L2正则化（Ridge）
惩罚项	λ∑∥wi∥	λ∑wi2
稀疏性	✔️（产生稀疏解）	❌（权重趋近于小值，但非零）
特征选择	✔️（自动剔除不重要特征）	❌（保留所有特征）
抗多重共线性	❌（可能随机选择特征）	✔️（稳定参数，适合相关特征）
优化难度	非光滑，需用坐标下降、近端梯度法	光滑，可用梯度下降、解析解
典型应用	高维稀疏数据（文本、生物信息学）	中小规模数据、特征相关性高（经济、信号处理）

4. 实际应用建议

何时用L1？

数据维度远大于样本量（如特征数=10^4, 样本数=10^2）。
需要明确特征重要性（如医学诊断中找出关键指标）。
资源受限（需部署轻量级模型）。

何时用L2？

特征间存在强相关性（如时间序列数据、图像像素）。
所有特征都可能有用（不希望丢弃任何信息）。
追求模型稳定性（如金融风控模型）。

混合使用（Elastic Net）：

当需要平衡L1和L2的优势时，可以使用弹性网络（Elastic Net），其惩罚项为两者的线性组合：

Penalty=λ1∑∣wi∣+λ2∑wi2

适用场景：特征数量多且部分相关（如基因组数据、推荐系统）。

5. 代码示例（Scikit-learn）

python

from sklearn.linear_model import Lasso, Ridge, ElasticNet

# L1正则化（Lasso）
lasso = Lasso(alpha=0.1)  # alpha是正则化强度λ
lasso.fit(X_train, y_train)
print("Lasso选择的特征数：", sum(lasso.coef_ != 0))

# L2正则化（Ridge）
ridge = Ridge(alpha=0.1)
ridge.fit(X_train, y_train)
print("Ridge权重均值：", ridge.coef_.mean())

# Elastic Net（混合L1+L2）
elastic = ElasticNet(alpha=0.1, l1_ratio=0.5)  # l1_ratio控制L1占比
elastic.fit(X_train, y_train)