smooth L1、L1、L2 损失函数的区别

最新推荐文章于 2025-04-18 12:18:36 发布
最新推荐文章于 2025-04-18 12:18:36 发布
阅读量2k 收藏 10
点赞数 1
分类专栏： 立体匹配 文章标签： 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_41405284/article/details/109677405
版权
本文探讨了L1、L2和Smooth L1损失函数在深度学习和神经网络中的差异。L1损失（MAE）在小扰动时可能导致模型跳跃，而L2损失在接近最小值时梯度减小，有助于收敛。Smooth L1损失结合两者优点，避免过大梯度并能平滑处理异常值。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  • 感谢商汤科技给我一次面试的机会，通过面试也暴漏了自己很多问题。
  • 立体匹配中很多网络都是用的 smooth L1 loss。那他和L1、L2 loss的区别是什么呢？
L1 loss(MAE）

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
其中 x 为预测框与 groud truth 之间 elementwise 的差异。
在这里插入图片描述

  1. 先说下L1 loss的优点：
  • 优点：L1 的导数为常数。，无论对于什么样的输入值，都有着稳定的梯度，不会导致梯度爆炸问题，具有较为稳健性的解。如果训练数据被异常值破坏的话（也就是我们在训练环境中错误地接收到巨大的不切实际的正/负值，但在测试环境中却没有），MAE会很有用。
  1. L1 的缺点：<
最低0.47元/天 解锁文章
【损失函数：1】L1、L2、SmoothL1（附Pytorch实现）
NorthSmile的博客
09-25 8939
作者自己是做图像去雾的，平常也会看一些其他的图像恢复方向的文章，比如图像去噪、图像增强、图像去模糊以及图像超分辨等。我们知道损失函数决定了网络训练目标，对于一个任务最后可以实现的功能影响很大，这里我就想把我见过的一些损失函数进行记录，供大家学习参考。
【AI面试】回归损失横评：L1 loss、L2 loss和Smooth L1 Loss，L1正则化和L2正则化、IOU loss系列
钱多多先森
05-03 2314
损失函数是深度学习模型优化的一个灵魂基础，所以无论是很新的transform模型，还是比较早期的AlexNet，都不可避免的要涉及到损失函数的设计和应用。 所以，各种形形色色的损失函数（Loss）也就成了面试场上，不经意间就会被牵扯到的问题。 其中，目标检测任务的损失函数由Classificition Loss和Bounding Box Regeression Loss两部分构成。本次我们着重关注BoundingBox Loss 目标检测回归损失，之后有时间我们关注分类等损失函数。 1. L1 loss、
深度学习 二分类 损失函数_深度学习常用损失函数
weixin_39868959的博客
11-23 614
船长黑板报所有文章和代码的最新版本均在Captain1986/CaptainBlackboard​github.com维护，知乎不做维护您的Star是对我的鼓励# 　　　　　　深度学习常用损失函数## 引言深度学习的任务本质上来说是拟合一个函数Fcnn，将输入的图片映射到对应的标签，这个映射的好坏需要用损失函数来表达，学习训练的过程也是由损失函数来指导。本文总结了一些在深度学习，更具体地说，实在卷...
smooth l1
weixin_34126557的博客
09-24 1214
1.loss要规范化，这样就不会受图片大小的影响 2.w、h采用log：比较特殊的是w,hw,h的regression targets使用了log space. 师兄指点说这是为了降低w,hw,h产生的loss的数量级, 让它在loss里占的比重小些, 不至于因为w,hw,h的loss太大而让x,yx,y产生的loss无用 3.当预测值与目标值相差很大时, 梯度容易爆炸, 因为梯度里包含了x−t....
回归损失函数：L1 Loss，L2 Loss与Smooth L1 Loss的对比
jyh6122的博客
04-18 1334
对于大多数CNN网络，我们一般是使用L2-loss而不是L1-loss，因为L2-loss的收敛速度要比L1-loss要快得多。对于边框预测回归问题，通常也可以选择平方损失函数（L2损失），但L2范数的缺点是当存在离群点（outliers)的时候，这些点会占loss的主要组成部分。比如说真实值为1，预测10次，有一次预测值为1000，其余次的预测值为1左右，显然loss值主要由1000决定。所以FastRCNN采用稍微缓和一点绝对损失函数（smooth L1损失），它是随着误差线性增长，而不是平方增长。
smooth L1损失和L1、L2损失区别和优势
Ema1997的博客
09-24 1744
作者：知乎用户 链接：https://www.zhihu.com/question/58200555/answer/621174180 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 为了从两个方面限制梯度： 当预测框与 ground truth 差别过大时，梯度值不至于过大； 当预测框与 ground truth 差别很小时，梯度值足够小。 考察如下几种损失函数，其中x为预测框与 groud truth 之间 elementwise 的差异： L2(x)=x2(1)L_
回归损失函数1：L1 loss, L2 loss以及Smooth L1 Loss的对比
OscarMind的博客
11-24 1188
https://www.cnblogs.com/wangguchangqing/p/12021638.html 总结对比下L1 损失函数，L2 损失函数以及SmoothL1 损失函数的优缺点。 均方误差MSE (L2 Loss) 均方误差（Mean Square Error,MSE）是模型预测值f(x) 与真实样本值y 之间差值方的均值，其公式如下 MSE=∑ni=1(fxi−yi)2n 其中，yi和f(xi)分别表示第i个样本的真实值及其对应的预测值，n为样本的个数。 忽略下标i ，设n=1，以f(x)−
smoothL1理解
cdknight_happy的专栏
12-05 987
之前再看Fast R-CNN的时候，网络bounding boxes回归使用的smooth L1 loss，当时并没有去细想为什么用这个loss而不是l2 loss，这个loss有什么好？直到昨天看别的论文的时候提到smooth L1具有更强的鲁棒性，为什么smooth L1 loss具有更好的鲁棒性呢？上网查了下，下面是知乎的一个回答，感觉非常通俗易懂，所以就转了过来，原文——请问faster ...
一文理清L1 loss、L2 loss、smooth L1 loss原理与区别
风中一匹狼的博客
08-29 1万+
L1 loss L2 loss smooth L1 loss
交叉熵、Focal loss、L1，L2，smooth L1损失函数、IOU Loss、GIOU、DIOU和CIOU
weixin_44287997的博客
11-05 1883
交叉熵、Focal loss、L1，L2，smooth L1损失函数、IOU Loss、GIOU、DIOU和CIOU 联言命题 2020-02-23 21:36:37 ...
梳理L1、L2与Smooth L1
深海游鱼
07-04 1662
梳理L1、L2与Smooth L1 关于L1、L2的范数、损失函数和正则化，之前一直混淆这几个概念，故对这几天看过的资料进行了梳理。 范数(norm)是数学中的一种基本概念。在泛函分析中，它定义在赋范线性空间中，并满足一定的条件，即①非负性；②齐次性；③三角不等式。它常常被用来度量某个向量空间（或矩阵）中的每个向量的长度或大小。 首先以L2范数为例对范数做一个简单的说明： L2范数: 假设XXX是n维的特征X=(x1,x2,x3,…,xn)X=(x_1,x_2,x_3,…,x_n)X=(x1​,x2​,
为什么用交叉熵代替二次代价函数_常用的损失函数
weixin_39754616的博客
11-22 399
什么是损失函数？损失函数 （Loss Function） 也可称为代价函数 （Cost Function）或误差函数（Error Function），用于衡量预测值与实际值的偏离程度。一般来说，我们在进行机器学习任务时，使用的每一个算法都有一个目标函数，算法便是对这个目标函数进行优化，特别是在分类或者回归任务中，便是使用损失函数（Loss Function）作为其目标函数。机器学习的目标就是希望预...
深度学习损失函数之——L1 L2 SmoothL1(范数、损失函数、正则化)
vv___的博客
05-04 7453
L1，L2以及Smooth L1是深度学习中常见的3种损失函数，这3个损失函数有各自的优缺点和适用场景。 首先给出各个损失函数的数学定义，假设 xxx 为预测值与Ground Truth之间的差值： L1 loss表示预测值和真实值之差的绝对值；也被称为最小绝对值偏差（LAD），绝对值损失函数（LAE）。总的说来，它是把目标值 yiy_iyi​ 与估计值 f(xi)f(x_i)f(xi​) 的绝对差值的总和最小化。 L2 loss表示与测值和真实值之差的平方；L2范数损失函数，也被称为最小平方误差
损失函数一直在波动_各种损失函数详解
weixin_39841610的博客
11-24 3570
开一篇文章，记录我遇到过的论文中损失函数。还没看过多少文章，所以目前接触的还比较少。简单的诸如0-1损失的就不提了，比较简单。2. 均方误差函数这个损失函数大家都能理解，形式比较简单: 。主要应用于回归任务，如在目标检测任务中对于坐标的损失计算。3. 交叉熵损失广泛应用于分类的损失函数，一般是先将网络输出进行一个softmax操作，将数值转为类别概率（以前一直疑惑为什么要用softmax，而不直...
smooth L1 loss是什么以及为什么好
qq_20481015的博客
08-29 3299
转载链接：https://www.jianshu.com/p/19483787fa24 smooth L1 loss能从两个方面限制梯度： 当预测框与 ground truth 差别过大时，梯度值不至于过大； 当预测框与 ground truth 差别很小时，梯度值足够小。 考察如下几种损失函数，其中 损失函数对 x 的导数分别为： 观察 (4)，当 x...
L1、L2、smooth L1三类损失函数
热门推荐
weixin_41940752的博客
06-21 7万+
一、常见的MSE、MAE损失函数 1.1 均方误差、平方损失 均方误差（MSE）是回归损失函数中最常用的误差，它是预测值与目标值之间差值的平方和，其公式如下所示： 下图是均方根误差值的曲线分布，其中最小值为预测值为目标值的位置。 优点：各点都连续光滑，方便求导，具有较为稳定的解 缺点：不是特别的稳健，为什么？因为当函数的输入值距离中心值较远的时候，使用梯度下降法求解的时候梯度很大，可能导致梯度爆...
L1 L2正则化、Smooth L1、优化器weight_decay、坐标轴下降、近端梯度下降 (proximal gradient descent)、subgradient次梯度
taoqick的专栏
10-06 2706
简单说就是L(w)+Cw^2和L(w)+C|w|这俩目标函数求导结果分别是+2Cw和+C，+C不会随着w的变化而变化，所以解空间就稀疏了。
【回归损失函数】L1（MAE）、L2（MSE）、Smooth L1 Loss详解
Roaddd的博客
03-14 2万+
1. L1 Loss（Mean Absolute Error，MAE）        平均绝对误差（MAE）是一种用于回归模型的损失函数。MAE 是目标变量和预测变量之间绝对差值之和，因此它衡量的是一组预测值中的平均误差大小，而不考虑它们的方向，范围为 0~∞。 MAE公式如下： 导数： MAE图像如下： 主要问题：        导数为常数，在 Loss 函数最
SmoothL1损失 总结
不佛的博客
12-01 1883
SmoothL1SmoothL_1SmoothL1​损失函数是L1L_1L1​损失（平均绝对误差MAE）和L2L_2L2​损失（均方误差MSE）的结合。 图形就是二次函数和绝对值函数的拼凑，比较简单，主要解释一下为什么这么改。 L1L_1L1​损失的特点是： 梯度稳定，几乎处处相等，不易梯度爆炸。 收敛慢，在0附近会震荡。 L2L_2L2​损失的特点是： 误差越大，梯度越大，收敛较快，在0附近收敛稳定。 对离群点比较敏感，离群点会显著增加损失，并且梯度过大，容易爆炸。 综合两者特点，我们希望在0
Smooth L1损失函数
最新发布
05-30
Smooth L1损失函数是L1损失和L2损失的结合形式，**在误差较小时表现为L2损失（平滑梯度），误差较大时表现为L1损失（抑制离群值干扰）**。其数学公式为： $$ L_{\text{smooth}L1}(x) = \begin{cases} 0.5x^2 & \...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值