拉普拉斯分布，高斯分布，L1 L2

最新推荐文章于 2025-07-18 10:33:00 发布
最新推荐文章于 2025-07-18 10:33:00 发布
阅读量3.4k 收藏 1
点赞数
本文探讨了机器学习中L1和L2正则化的数学原理，解释了这两种正则化方法如何通过引入不同的先验分布来防止过拟合。L1正则化基于拉普拉斯分布，而L2正则化则基于高斯分布。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

之前那篇文章里提到，L1其实是加上服从拉普拉斯分布的先验，L2是加上服从高斯分布的先验：

http://www.cnblogs.com/charlesblc/p/7977732.html

 

那么记住拉普拉斯的公式和高斯的公式：

 

拉普拉斯（Laplace）

 

 

高斯（Gaussian）分布

 

常见概率分布-7-拉普拉斯分布（Laplace distribution）
悦学共鸣，温柔以待，汇聚光芒，共同成长
04-22 5183
拉普拉斯分布，也称为双指数分布，是一种连续概率分布，由其双尖的概率密度特征所区分。
高斯分布&拉普拉斯分布
热门推荐
weixin_43178406的博客
08-04 2万+
本文主要介绍了高斯分布&拉普拉斯分布，希望能对学习的同学们有所帮助。 文章目录 1. 一元高斯分布 2. 多元高斯分布 2.1 独立多元正态分布 2.2 相关多元正态分布 3. 一元拉普拉斯分布
拉普拉斯分布_[BTTB] L1, L2 范数以及高斯，拉普拉斯分布
weixin_39822423的博客
12-16 1068
和我学很多其他东西一样，机器学习领域我也基本上就是野路子出身，首先本科不是 CS 专业，数学也不怎么样，硕士阶段读一半转实验室，才算开始接触机器学习。主要学习途径是通过网上瞎看瞎做项目，以及坐我背后的某企业CEO的指导。毕业后他回自己国家继续当 CEO，而我开始了我的搬砖生涯。基础不牢肯定的，于是想补一些基础知识，包括各种数学，信息论，CS相关等等，还找了个比较酷的名字 Back To ...
拉普拉斯分布
Cloud-Datacenter-Renewable Energy-Big Data-Model
12-04 8610
拉普拉斯分布 Laplace distribution 拉普拉斯分布[1]是一个连续概率分布. 参数为的拉普拉斯分布的概率密度函数为 其中 参数为拉普拉斯分布的位置(Location)参数参数为拉普拉斯分布的尺度(Scale)参数为符号数 拉普拉斯分布具有如下基本的分布特征 拉普拉斯分布的期望为拉普拉斯分布的方差为 参考资料 [1] Kotz,
高斯分布和拉普拉斯分布的区别，原理/图解/代码
最新发布
哪惧明天，风高路斜
07-18 879
其中μ是位置参数，b是尺度参数。拉普拉斯分布的核心特征是其指数部分包含绝对值项，这使得它具有更重的尾部。：高斯分布呈现平滑的钟形曲线，而拉普拉斯分布在均值处有一个尖锐的峰值，两侧对称下降但比高斯分布更陡峭。其中μ是均值，σ是标准差。高斯分布的核心特征是其指数部分包含平方项，这使得它在均值附近快速下降。：当两个分布有相同方差时，拉普拉斯分布的尺度参数b = σ/√2。：拉普拉斯分布的尾部比高斯分布更重，意味着极端值出现的概率更高。：高斯分布在均值处可导，而拉普拉斯分布在均值处不可导（有尖点）。
概率论之 拉普拉斯分布
qq_41035283的博客
04-26 4045
概率论之 拉普拉斯分布拉普拉斯分布性质代码 拉普拉斯分布 遵循拉普拉斯分布的随机变量的概率密度函数公式如下： p(x)=12λe−∣x−μ∣λ p(x)=\frac {1}{2\lambda}e^\frac{-|x-\mu|}{\lambda} p(x)=2λ1​eλ−∣x−μ∣​ 形如正态分布，但顶端是一个尖，出现极端值的概率也显著大于正态分布： 性质 拉普拉斯分布的均值为μ\muμ，方差为2λ22\lambda^22λ2，标准差为2λ\sqrt 2\lambda2​λ 图像如下： 代码 import
l2高斯分布_L1正则先验是Laplace分布，L2正则先验分布是高斯分布
weixin_42177768的博客
01-17 1593
Laplace分布Laplace概率密度函数分布为： 一般μ的取值为0，所以形式如下： 分布的图像如下所示可以看到Laplace分布集中在μ附近，而且b越小，数据的分布就越集中L2正则先验分布是高斯分布L1正则先验分布是Laplace分布，L2正则先验分布是Gaussian分布。接下来从最大后验概率的角度进行推导和分析。在机器学习建模中，知道了 x和 y 以后,需要对参数 w 进行建模。那么后验...
l2高斯分布_L1、L2正则化知识详解
weixin_35703673的博客
01-17 1680
正则化是一种回归的形式，它将系数估计(coefficient estimate)朝零的方向进行约束、调整或缩小。也就是说，正则化可以在学习过程中降低模型复杂度和不稳定程度，从而避免过拟合的危险。一、数学基础1. 范数范数是衡量某个向量空间(或矩阵)中的每个向量以长度或大小。范数的一般化定义：对实数p>=1， 范数定义如下：L1范数当p=1时，是L1范数，其表示某个向量中所有元素绝对值的和。L...
Regularization
YQMind的博客
02-25 819
概述 L1和L2正则项本质上是对参数进行先验分布假设，具体来说L1对应拉普拉斯先验，L2对应高斯先验。 ML与MAP的不同 maximum likelihood (ML) 极大似然估计: MAP (maximum a posterior) 最大后验概率估计: 即p(θ)p(\theta)p(θ)进行了先验假设。 拉普拉斯分布 L1正则化对应假设每个参数服从均值为0的拉普拉斯分布。 b越小，越...
差分隐私之随机响应，拉普拉斯机制，高斯机制，指数机制
大步流星的博客
11-28 1866
差分隐私（Differential Privacy）是指一种严格的隐私定义，确保一个算法的输出不受单个数据点的显著影响。换句话说，无论一个个体的数据是否包含在数据集中，算法的输出结果应保持几乎相同。这个定义通常通过一个隐私参数ε（epsilon）来量化，该参数衡量算法在隐私和数据准确性之间的平衡。对于所有的集合S⊆RangeMS⊆RangeM且对于所有xy∈N∣x∣xy∈N∣x∣，如果∥x−y∥1≤1∥x−y∥1​≤1。
TPAMI 2025 | 通过旋转拉普拉斯分布实现 SO (3) 上的稳健概率建模
小白学视觉
04-28 333
从单张RGB图像估计3自由度旋转是一个重要但具有挑战性的问题。作为一种流行的方法，概率旋转建模与单预测旋转回归相比，还能携带预测不确定性信息。在对SO(3)上的概率分布进行建模时，使用类似高斯分布的宾汉分布（Bingham distribution）和矩阵费希尔分布（matrix Fisher）是很自然的选择，但它们对异常预测（如180°误差）很敏感，因此不太可能以最优性能收敛。在本文中，作者从多元拉普拉斯分布中获得灵感，提出了一种新的SO(3)上的旋转拉普拉斯分布。
拉普拉斯分布（Laplace distribution）
weixin_30920597的博客
12-29 4184
拉普拉斯分布的定义与基本性质其分布函数为分布函数图其概率密度函数为密度函数图拉普拉斯分布与正太分布的比较从图中可以直观的发现拉普拉斯分布跟正太分布很相似，但是拉普拉斯分布比正太分布有尖的峰和轻微的厚尾。 转载于:https://www.cnblogs.com/yifdu25/p/8146446.html...
拉普拉斯分布(Laplace Distribution)
weixin_50232758的博客
04-28 1607
且更适配与曼哈顿距离损失（Manhattan Distance Loss）函数。中，作者使用拉普拉斯分布建模地图元素的点（vertex），因为其。
L1，L2正则化范数
06-26
### L1正则化与L2正则化的概念 L1正则化，也称为Lasso（Least Absolute Shrinkage and Selection Operator）正则化，通过在损失函数中添加一个与模型权重绝对值成比例的惩罚项来限制模型复杂度。具体来说，L1正则化项是所有权重系数的绝对值之和，这使得某些权重在优化过程中被压缩至零，从而实现特征选择的效果[^3]。 L2正则化，又名Ridge正则化，同样是在损失函数中加入一个额外的惩罚项以控制模型复杂度。但不同于L1正则化的是，它对权重的平方进行惩罚。这意味着L2正则化不会使权重完全变为零，而是倾向于让它们趋近于零，因此它可以减少模型参数之间的差异而不至于消除任何特征的影响[^2]。 ### 在机器学习中的应用 L1正则化因其能够产生稀疏模型而广泛应用于特征选择场景中。当面对具有大量无关或冗余特征的数据集时，使用L1正则化可以帮助识别并保留那些对于预测目标最重要的特征[^1]。此外，由于其对异常值较为鲁棒的特点，在数据可能存在噪声或者离群点的情况下，L1正则化可能是一个更好的选择[^1]。 另一方面，L2正则化适用于处理多重共线性问题，即当输入变量之间存在高度相关关系时，L2正则化可以提供更稳定的结果。因为即使输入特征间有较强的关联，L2正则化仍能保持模型参数的小幅度变化，避免了因微小的数据变动而导致模型性能大幅波动的问题[^1]。 ### 区别分析 - **数学性质**：L1正则化导致了一个非连续可导的优化问题，这通常需要特殊的优化算法如坐标下降法等；而L2正则化保持了原始损失函数的光滑性，允许使用标准梯度下降方法进行求解。 - **先验分布假设**：从贝叶斯统计的角度看，L1正则化相当于给定权重一个拉普拉斯先验分布，强调稀疏性的先验信念；而L2正则化则对应着高斯先验分布，暗示权重应该集中在零附近但不必严格为零[^4]。 - **应用场景**：如果目标在于构建一个简洁且易于解释的模型，并且相信大部分特征实际上并不影响输出，则应优先考虑L1正则化。相反地，若主要关心的是提高模型泛化能力而非特征选择，并且预计到输入特征可能存在较强的相关性，则推荐采用L2正则化策略。 ```python # 示例代码展示如何在Scikit-Learn中实现带有L1/L2正则化的线性回归 from sklearn.linear_model import Lasso, Ridge from sklearn.datasets import make_regression from sklearn.model_selection import train_test_split # 生成模拟数据 X, y = make_regression(n_features=20, n_informative=5, noise=0.1) X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2) # 使用L1正则化（Lasso） lasso = Lasso(alpha=0.1) # alpha 控制正则化的强度 lasso.fit(X_train, y_train) print("Lasso score:", lasso.score(X_test, y_test)) # 使用L2正则化（Ridge） ridge = Ridge(alpha=0.1) ridge.fit(X_train, y_train) print("Ridge score:", ridge.score(X_test, y_test)) ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值