【笔记】机器学习里的各种LOSS（L1，L2）

最新推荐文章于 2025-03-19 10:50:09 发布
最新推荐文章于 2025-03-19 10:50:09 发布
阅读量4.5k 收藏 2
点赞数
文章标签： 机器学习 loss
本文解析了L1loss、SmoothL1Loss及L2loss三种损失函数的特点。L1loss在零点不平滑；SmoothL1Loss改进了这一问题；L2loss对离群点较敏感，需注意调整学习率避免梯度爆炸。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1、L1 loss 在零点不平滑，用的较少
2、Smooth L1 Loss 修改零点不平滑问题
3、L2 loss：对离群点比较敏感，如果feature 是 unbounded的话，需要好好调整学习率，防止出现梯度爆炸的情况[fast rcnn]

这里写图片描述

参考：
【1】http://www.jianshu.com/p/ac26866e81bc

王KV
关注
AI笔记: 损失函数之L1损失、L2损失、Huber损失
Wang的专栏
04-10 2477
损失函数 之前我们知道预测残差和残差平方和，在机器学习中，我们用专门的术语叫损失函数(loss function)度量样本真实值与模型预测值之间差异 如果我们采用残差平方来作为你的损失函数的话，那我们把它称之为L2损失, 记为：L(y,y^)=(y−y^)2=r2L(y, \hat{y}) = (y - \hat{y})^2 = r^2L(y,y^​)=(y−y^​)2=r2 L表示loss，损...
L1 loss VS L2 loss； L1 regularization VS L2 regularization
Huiyu Blog
11-22 877
L1 和L2 既可以作为 loss function 也可以作为 reguarization L1 loss VS L2 loss 公式 比较 鲁棒性：L1 更鲁棒，因为L2 的误差会平方增长。当存在离群点（outliers)的时候，这些点会占loss的主要组成部分, 使用梯度下降法求解的时候梯度很大，可能导致梯度爆炸.。 稳定性（数据集的一个小的移动）：L2 是比L1 具有更好的性质。 收敛...
L1 Loss 和 L2 Loss
m0_64254014的博客
03-19 291
L1 Loss 和 L2 Loss 是深度学习中常用的损失函数，用于衡量模型预测值与真实值之间的差异。
L1 loss & L2 loss & Smooth L1 loss
leonardohaig的博客
12-03 2510
L1 loss & L2 loss & Smooth L1 loss 微信公众号：幼儿园的学霸 个人的学习笔记，关于OpenCV,关于机器学习, …。问题或建议，请公众号留言; 关于神经网络中L1 loss & L2 loss & Smooth L1 loss损失函数的对比、优缺点分析 目录 文章目录L1 loss & L2 loss & Smo...
L1 loss 和 L2 loss 比较
ls83776736的博客
07-10 1万+
1、L1 loss 在零点不平滑，用的较少  2、Smooth L1 Loss 修改零点不平滑问题  3、L2 loss：对离群点比较敏感，如果feature 是 unbounded的话，需要好好调整学习率，防止出现梯度爆炸的情况[fast rcnn]   4、一般来说，L1正则会制造稀疏的特征，大部分无用特征的权重会被置为0。 L2正则会让特征的权重不过大，使得特征的权重比较平均。 5、...
L1 loss与L2 loss对比分析
like_jmo的博客
10-11 1514
L1 loss 均绝对误差函数（MEAN Absolute Error） 描述模型预测值和真实值之间距离的均值 MAE连续，但是在y-ƒ(x)=0处不可导。并且可以看到MAE的梯度为±1，对于函数的极小值其附近梯度不变，这非常不利于模型训练。但正因如此，对于异常值，并没有太大影响（因为MAE计算的是误差绝对值，其惩罚是固定的）所以健壮性更好。 L2 loss均方误差函数（MEAN Square Error） 描述模型预测值和真实值之间差值平方的均值 MSE也...
回归损失函数1：L1 loss, L2 loss以及Smooth L1 Loss的对比
qq_38770848的博客
03-08 234
https://www.cnblogs.com/wangguchangqing/p/12021638.html
【第三周】李宏毅机器学习笔记03
qq_30043925的博客
07-14 796
这周学习了机器学习的任务攻略。在机器学习中我们通过损失函数的值来判断模型性能的好坏。当训练中的loss值达不到我们理想的结果时我们需要分析loss值过高的原因，有可能是model bias也有可能是optimization。当我们在训练集中的loss取得很好的结果之后就要去观察测试集上的loss。测试集上loss过大则可能产生过拟合，如何解决过拟合也是本周需要学习的内容。此外还学到了一种模型评估办法——K折交叉验证法。本文还介绍了局部最小点和鞍点，对判断局部最小点和鞍点的方法进行了手写推导。
【学习笔记】 陈强-机器学习-Python-Ch13 提升法
2201_76026029的博客
08-28 1455
本学习笔记 仅为以防自己忘记了，顺便分享给一起学习的网友们参考。如有不同意见/建议，可以友好讨论。本学习笔记 所有的代码和数据都可以从陈强老师的个人主页上下载陈强.机器学习及Python应用. 北京：高等教育出版社, 2021.数学原理等 详见陈强老师的PPT参考了：网友阡之尘埃的Python机器学习10——梯度提升model = model.best_estimator_ #.best_estimator_属性：使用最优超参数定义最优模型。
最新版学习笔记—Python机器学习基础教程（3）线性模型（回归）—附完整代码
12-20
在机器学习领域，线性模型是一类非常基础且重要的模型，尤其在回归分析中发挥着核心作用。本篇笔记将重点介绍线性模型在回归问题中的应用，包括基本的线性回归、岭回归以及Lasso回归。 1. 用于回归的线性模型 线性...
机器学习笔记：范数正则化与L0、L1、L2在模型复杂度控制中的应用
本文主要探讨了机器学习中的正则化技术，特别是L0、L1和L2范数在回归模型中的应用，如岭回归和Lasso回归，以解决过拟合问题并实现特征选择。 在监督学习中，正则化是一种重要的技术，其目的是在最小化预测误差的...
深度学习之L1 loss和L2 loss的区别
AndyJ的学习之旅
05-08 2万+
L1 loss和L2 loss的区别？ L1 loss: L2 loss: smooth L1 loss: l1 loss在零点不平滑，用的较少。一般来说，l1正则会制造稀疏的特征，大部分无用的特征的权重会被置为0。 （适合回归任务，简单的模型，由于神经网络通常解决复杂问题，很少使用。） smooth l1 loss修改零点不平滑问题，L1-smooth比l2 loss对异常值的鲁棒...
L1 loss 是什么
a_145133的博客
04-24 5903
与L2 Loss（也称为Mean Squared Error）相比，L1 Loss更加鲁棒，对于异常值（outliers）的容忍性更高。因此，在某些需要考虑异常值的任务中，例如目标检测、人脸识别等领域，L1 Loss被广泛应用。L1 Loss（也称为Mean Absolute Error）是深度学习中常用的一种损失函数，用于衡量模型预测结果与真实标签之间的平均绝对误差。表示模型对于样本i的预测标签。将每个样本的绝对误差取平均值，得到L1 Loss。表示样本i的真实标签（ground truth），
一文理清L1 loss、L2 loss、smooth L1 loss原理与区别
风中一匹狼的博客
08-29 1万+
L1 loss L2 loss smooth L1 loss
Tensorflow 实现Bert 做文本分类时loss加上L2 loss
samoyan的博客,记录技术成长~
12-14 445
方法一： tvars=tf.trainable_variables() regularizer=tf.contrib.layers.l2_regularizer(1e-4) l2_loss=0.0 forvarintvars: l2_loss=l2_loss+regularizer(var) loss=loss+l2_loss 方法二： tvars...
机器学习中的 L1,L2 loss分别是什么
大西瓜不甜的博客
04-21 4889
一、常见的MSE、MAE损失函数 1.1 均方误差、平方损失 均方误差（MSE）是回归损失函数中最常用的误差，它是预测值与目标值之间差值的平方和，其公式如下所示： 下图是均方根误差值的曲线分布，其中最小值为预测值为目标值的位置。 优点：各点都连续光滑，方便求导，具有较为稳定的解 缺点：不是特别的稳健，为什么？因为当函数的输入值距离中心值较远的时候，使用梯度下降法求解的时候梯度很大，可能...
机器学习常用loss：L1 loss、L2 loss、smothL1 loss、huber loss
qq_33278461的博客
09-11 1万+
常用loss： L1： 公式：L1=∑i=1n∣yi−f(xi)∣L1=\sum_{i=1}^{n}\left|y_{i}-f\left(x_{i}\right)\right|L1=i=1∑n​∣yi​−f(xi​)∣ 导数：dL1(x)dx={1 if x≥0−1 otherwise \frac{\mathrm{d} L_{1}(x)}{\mathrm{...
深度学习——常见损失函数Loss：L1 ，L2 ，MSE ，Binary Cross ，Categorical Cross ，Charbonnier ，Weighted TV ，PSNR
热门推荐
qq_40280673的博客
11-08 2万+
在深度学习中，损失函数是一个核心组件，它度量模型的预测结果与真实值之间的差异。通过最小化损失函数的值，模型能够在训练过程中逐渐改善其性能。损失函数为神经网络提供了一个明确的优化目标，是连接数据和模型性能的重要桥梁。
损失函数L1Loss、L2loss区别
weixin_51293984的博客
04-07 742
平均绝对误差（Mean Absolute Error，MAE）预测值和真实值之差的绝对值。
L1loss损失函数
最新发布
04-30
<think>好的，我现在需要回答用户关于L1损失函数的定义、用法和实现的问题。首先，用户之前的问题是关于注意力机制的，现在转向了损失函数，特别是L1损失。我需要结合用户提供的引用内容，尤其是引用[2]、[3]、[4]中的信息，来构建回答。 首先，用户提到的引用[2]中提到了Smooth L1 Loss，其中提到当误差大时表现得像L1，误差小时像L2。这可能与L1 Loss的特性有关，但用户现在明确询问的是L1 Loss本身。引用[3]提到了Quantile损失函数和MAE，而MAE其实就是L1损失函数。引用[4]的表格里详细介绍了各种损失函数，包括L1Loss的应用场景，比如回归任务，对异常值不敏感，适用于有异常值的情况。 接下来，我需要确定L1损失函数的数学定义。根据知识，L1损失是预测值和真实值之差的绝对值之和的平均，公式应该是：$$ L = \frac{1}{n} \sum_{i=1}^{n} |y_i - \hat{y}_i| $$ 这里需要确认引用中的内容是否有补充。引用[4]提到L1Loss用于回归任务，对异常值不那么敏感，这应该在回答中强调。 然后，关于应用场景，用户可能想知道在什么情况下应该使用L1而不是MSE。根据引用[4]，当数据含有异常值时，L1通常优于MSE。此外，引用[3]提到MAE倾向于估计中位数，这可能在某些情况下有用，比如需要鲁棒性的时候。 用法方面，需要解释如何在PyTorch中实现L1损失，可能给出代码示例。根据引用[4]，PyTorch中的L1Loss对应torch.nn.L1Loss，所以应该提供一个简单的代码片段，展示如何初始化和使用该损失函数。 同时，用户提供的引用中有关于Smooth L1 Loss的信息，可能需要对比L1和Smooth L1的区别，但用户的问题是直接关于L1的，所以这部分可以作为扩展或比较，但重点应放在L1上。 此外，用户可能想知道L1损失函数的优缺点。根据引用[2]和[4]，优点是对异常值不敏感，缺点是可能在优化时收敛较慢，因为梯度在接近零点处不平滑。 需要确保回答结构清晰，分为定义、应用场景、实现、优缺点等部分，并引用相关的引用来源。例如，在提到对异常值的鲁棒性时，可以引用[2]和[4]。 最后，生成相关问题，可能需要联系用户之前的注意力机制问题，或者损失函数的其他类型，比如Smooth L1、Quantile损失等，但根据当前问题，相关问题应围绕L1损失展开，如与其他损失函数的对比，如何选择损失函数，实际应用案例等。 检查是否有遗漏的信息，比如引用[3]中的分位数损失是否与L1相关，MAE和中位数的关系是否需要进一步解释。确保回答准确，同时参考用户提供的引用内容，但不过度引用不相关的部分。 总结，回答的结构应该是： 1. 定义（公式、解释） 2. 应用场景（回归、异常值处理） 3. 实现方法（PyTorch代码） 4. 优缺点 5. 对比其他损失函数（如MSE） 6. 相关问题 在引用方面，应用场景部分引用[4]，对异常值的处理引用[2]和[4]，中位数倾向引用[3]等。确保每个引用只在相关部分提及，并在末尾添加标识。</think># L1损失函数详解 ## 一、数学定义与特性 L1损失函数（平均绝对误差，MAE）的数学表达式为： $$ L = \frac{1}{n} \sum_{i=1}^{n} |y_i - \hat{y}_i| $$ 其中$y_i$为真实值，$\hat{y}_i$为预测值。该函数具有**对称性**和**鲁棒性**，对异常值敏感度较低[^2][^4]。 关键特性： 1. 倾向于估计数据的中位数（对比MSE估计均值）[^3] 2. 梯度在原点处不连续，但整体梯度幅度恒定 3. 误差增长速率线性于预测偏差 ## 二、应用场景 | 场景类型 | 具体案例 | 优势体现 | |----------------|----------------------------|------------------------| | 回归任务 | 房价预测、销量预测 | 对异常值不敏感[^4] | | 图像处理 | 图像去噪、超分辨率重建 | 保持边缘锐度 | | 金融预测 | 股价波动预测 | 降低极端事件影响 | | 传感器数据校准 | 工业设备异常检测 | 稳定处理测量噪声 | ## 三、PyTorch实现方法 ```python import torch.nn as nn # 创建损失函数实例 l1_loss = nn.L1Loss(reduction='mean') # reduction可选'max','min','sum' # 计算损失示例 pred = torch.tensor([2.5, 0.8, 5.2]) # 预测值 target = torch.tensor([3.0, 0.5, 4.9]) # 真实值 loss = l1_loss(pred, target) # 输出：0.4 ``` ## 四、与MSE的对比分析 $$ \begin{array}{|l|c|c|} \hline \text{特性} & \text{L1 Loss} & \text{MSE} \\ \hline \text{数学形式} & |y-\hat{y}| & (y-\hat{y})^2 \\ \text{梯度特性} & \text{恒定梯度} & \text{梯度随误差增大而增强} \\ \text{异常值敏感度} & \text{低} & \text{高} \\ \text{收敛速度} & \text{较慢} & \text{较快} \\ \text{最优估计} & \text{中位数} & \text{均值} \\ \hline \end{array} $$ ## 五、改进方案 1. **Smooth L1 Loss**：在接近零点区域使用二次函数平滑 $$ L = \begin{cases} 0.5x^2 & \text{if } |x| < 1 \\ |x| - 0.5 & \text{otherwise} \end{cases} $$ 平衡了L1/L2的优点，常用于目标检测（如Faster R-CNN）[^2] 2. **Huber Loss**：引入可调参数δ控制平滑范围 $$ L_\delta = \begin{cases} \frac{1}{2}x^2 & \text{for } |x| \leq \delta \\ \delta|x| - \frac{1}{2}\delta^2 & \text{otherwise} \end{cases} $$ ## 六、最佳实践建议 1. **数据预处理**：建议对输入数据进行标准化（Z-score） 2. **优化器选择**：搭配自适应优化器（如Adam）可改善收敛性 3. **学习率设置**：初始学习率建议设为MSE场景的1/10 4. **监控指标**：建议同时计算MAE和MSE评估模型表现 --相关问题-- 1. 如何选择L1 Loss和Huber Loss的超参数？ 2. 在图像重建任务中，L1 Loss相比MSE有什么视觉优势？ 3. 为什么L1正则化能产生稀疏解？ 4. 如何实现带权重的L1 Loss函数？ [^2]: 当预测值与真实值之间的差异很大时，Smooth L1 Loss表现得像L1 Loss，这减少了对大误差的惩罚 [^3]: MAE函数实际上会倾向于预估样本中位数 [^4]: L1Loss对异常值不那么敏感，当数据含有异常值时通常优于MSE
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值