L1 Loss,L2 Loss和Smooth L1 Loss 的对比

最新推荐文章于 2024-01-11 14:03:17 发布
原创 最新推荐文章于 2024-01-11 14:03:17 发布 · 1.1k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文对比了L1 Loss、L2 Loss和Smooth L1 Loss，讨论了它们的优缺点。L2 Loss因其平滑性利于梯度下降，但对离群点敏感；L1 Loss对离群点不敏感但导数不连续；Smooth L1 Loss结合两者优点，防止梯度爆炸并降低离群点影响。

总结对比下L1L_1L1​ 损失函数，L2L_2L2​ 损失函数以及SmoothL1\text{Smooth} L_1SmoothL1​ 损失函数的优缺点。

均方误差MSE (L2L_2L2​ Loss)

均方误差（Mean Square Error,MSE）是模型预测值f(x)f(x)f(x) 与真实样本值yyy 之间差值平方的平均值，其公式如下
MSE=∑i=1n(fxi−yi)2n MSE = \frac{\sum_{i=1}^n(f_{x_i} - y_i)^2}{n} MSE=n∑i=1n​(fxi​​−yi​)2​
其中，yiy_iyi​和f(xi)f(x_i)f(xi​

最低0.47元/天 解锁文章
【AI面试】回归损失横评：L1 loss、L2 loss和Smooth L1 Loss，L1正则化和L2正则化、IOU loss系列
钱多多先森
05-03 2601
损失函数是深度学习模型优化的一个灵魂基础，所以无论是很新的transform模型，还是比较早期的AlexNet，都不可避免的要涉及到损失函数的设计和应用。 所以，各种形形色色的损失函数（Loss）也就成了面试场上，不经意间就会被牵扯到的问题。 其中，目标检测任务的损失函数由Classificition Loss和Bounding Box Regeression Loss两部分构成。本次我们着重关注BoundingBox Loss 目标检测回归损失，之后有时间我们关注分类等损失函数。 1. L1 loss、
L1, L2以及smooth L1 loss
yang_daxia的博客
06-10 1万+
在机器学习实践中，你也许需要在神秘的L1和L2中做出选择。通常的两个决策为：1) L1范数 vs L2范数 的损失函数； 2) L1正则化 vs L2正则化。 作为损失函数   L1范数损失函数，也被称为最小绝对值偏差（LAD），最小绝对值误差（LAE）。总的说来，它是把目标值（YiYi）与估计值（f(xi)f(xi)）的绝对差值的总和（SS）最小化： S=∑i=1n|Yi−f(xi)...
L1 loss, L2 loss以及Smooth L1 Loss的对比
技术研究中心
12-11 1223
总结对比下\(L_1\) 损失函数，\(L_2\) 损失函数以及\(\text{Smooth} L_1\) 损失函数的优缺点。 均方误差MSE (\(L_2\) Loss) 均方误差（Mean Square Error,MSE）是模型预测值\(f(x)\) 与真实样本值\(y\) 之间差值平方的平均值，其公式如下\[ MSE = \frac{\sum_{i=1}^n(f_{x_i} - y_i...
【损失函数】SmoothL1Loss 平滑L1损失函数
Next_SummerAgain的博客
12-28 3653
SmoothL1Loss 平滑L1损失函数 是 PyTorch 中的一个损失函数，通常用于回归问题。它是 L1 损失和 L2 损失的结合，旨在减少对异常值的敏感性。
【Smooth L1 Loss】Smooth L1损失函数理解
热门推荐
计算机视觉方面的点点滴滴，欢迎一起讨论
05-21 3万+
文章目录1 引言2 L1 Loss3 L2 Loss4 Smooth L1 Loss5 曲线对比分析参考链接 1 引言 目标检测任务的损失函数由Classificition Loss和Bounding Box Regeression Loss两部分构成。 Bounding Box Regression Loss Function的演进路线是： Smooth L1 Loss --> IoU Loss --> GIoU Loss --> DIoU Loss --> CIoU Loss 本
L1 loss 和 L2 loss 比较
ls83776736的博客
07-10 1万+
1、L1 loss 在零点不平滑，用的较少  2、Smooth L1 Loss 修改零点不平滑问题  3、L2 loss：对离群点比较敏感，如果feature 是 unbounded的话，需要好好调整学习率，防止出现梯度爆炸的情况[fast rcnn]   4、一般来说，L1正则会制造稀疏的特征，大部分无用特征的权重会被置为0。 L2正则会让特征的权重不过大，使得特征的权重比较平均。 5、...
模型训练的auc和loss比较问题
yisun123456的博客
11-04 3891
AUC 反应的是正样本在负样本前面的概率问题，AUC越大，说明正样本更靠前。 LOSS 反应的是真实值与预测值之前的差值，就是损失，LOSS越小，说明预测值越接近于真实值。在二分类问题中，LOSS越小，说明预测的样本预测值两极占比高（负样本更接近0，正样本更接近1） 例如：两个模型A B，一个auc高一些，但log也大一些。另一个auc低，但log也低。 A模型AUC高，说明它在判断哪个更好的方面，有着更好的表现，但是可能它比较“保守”，预估分都接近于正负样本的比例值（比如ctr=0.1，则预估分接近0
一文理清L1 loss、L2 loss、smooth L1 loss原理与区别
风中一匹狼的博客
08-29 1万+
L1 loss L2 loss smooth L1 loss
L1 loss与L2 loss对比分析
like_jmo的博客
10-11 1651
L1 loss 均绝对误差函数（MEAN Absolute Error） 描述模型预测值和真实值之间距离的均值 MAE连续，但是在y-ƒ(x)=0处不可导。并且可以看到MAE的梯度为±1，对于函数的极小值其附近梯度不变，这非常不利于模型训练。但正因如此，对于异常值，并没有太大影响（因为MAE计算的是误差绝对值，其惩罚是固定的）所以健壮性更好。 L2 loss均方误差函数（MEAN Square Error） 描述模型预测值和真实值之间差值平方的均值 MSE也...
目标检测回归损失函数1：L1 loss, L2 loss以及Smooth L1 Loss的对比
weixin_43868576的博客
08-23 1094
这个博客让我看明白了三者的区别： https://www.cnblogs.com/wangguchangqing/p/12021638.html 总结就是smooth L1 loss完美的规避了L1 loss和L2 loss的缺点 相对于L1 loss来说，收敛的更快了 相对于L2 loss来说，对于离群点更加友好，梯度变化小 ...
torch.nn.functional as F smooth_l1_loss
萝卜的博客
12-07 7903
  import torch.nn.functional as F 1. output = model(imgL,imgR) output = torch.squeeze(output,1) loss = F.smooth_l1_loss(output[mask], disp_true[mask], size_average=True) loss.backward() 2. outp...
目标检测之Loss：FasterRCNN中的SmoothL1Loss
BigCowPeking
04-03 1万+
多任务损失（来自Fast R-CNN） multi-task数据结构Fast R-CNN网络有两个同级输出层（cls score和bbox_prdict层），都是全连接层，称为multi-task。① clsscore层：用于分类，输出k+1维数组p，表示属于k类和背景的概率。对每个RoI（Region of Interesting）输出离散型概率分布通常，p由k+1类的全连接层利用softmax...
深度学习(23):SmoothL1Loss损失函数
biter0088的博客
05-01 6565
SmoothL1Loss损失函数
目标检测:损失函数之SmoothL1Loss
u013250861的博客
06-15 676
L1(y,f(x))=1n∑i=1n∣f(xi)−yi∣(1)L1(y,f(x))=\frac{1}{n} \sum_{i=1}^{n}|f(x_i)-y_i| \tag{1}L1(y,f(x))=n1​i=1∑n​∣f(xi​)−yi​∣(1)理想中的梯度变化应该是：训练初期值较大，则梯度也大，可以加快模型收敛；训练后期值较小，梯度也应小，使模型收敛到全局（或局部）极小值。L1 Loss 优点：梯度值稳定，使得训练平稳；不易受离群点（脏数据）影响，所有数据一视同仁。 L1 Loss 缺点：处不可导，可能影
图像分割loss对比
Maisie_Nan的博客
05-08 1017
1.binary_crossentropy # Loss最终用binary_crossentropy loss，sigmoid激活后放到一个logit的loss里 loss = tf.reduce_mean(tf.keras.losses.binary_crossentropy(labels, pred)) 2.sigmoid_cross_entropy_with_logits 不行 # # 第一种loss， sigmoid_cross_entropy_with_logits输入为未激活的
【YOLO系列】 Smooth L1 Loss、IOU、GIOU、DIOU、CIOU（附代码实现）
江湖小Jay的博客
01-11 2520
Smooth L1 Loss、IOU、GIOU、DIOU和CIOU都是用于评估模型预测准确性的指标，但它们在计算方式和应用场景上有所不同。
SmoothL1Loss的初步学习理解
AWhiteDongDong的博客
06-25 517
主要参考了这一篇和这一篇博客 另外附上pytorch版本的L1损失函数代码： def _smooth_l1_loss(x, t, in_weight, sigma): #sigma=1 sigma2 = sigma ** 2 diff = in_weight * (x - t) abs_diff = diff.abs() flag = (abs_diff.data < (1. / sigma2)).float() y = (flag * (sigm
为什么用交叉熵代替二次代价函数_常用的损失函数
weixin_39754616的博客
11-22 452
什么是损失函数？损失函数 （Loss Function） 也可称为代价函数 （Cost Function）或误差函数（Error Function），用于衡量预测值与实际值的偏离程度。一般来说，我们在进行机器学习任务时，使用的每一个算法都有一个目标函数，算法便是对这个目标函数进行优化，特别是在分类或者回归任务中，便是使用损失函数（Loss Function）作为其目标函数。机器学习的目标就是希望预...
L1 LOSS和L2 LOSS什么时候推荐使用
最新发布
09-02
基于损失函数特性和实际应用场景，以下是L1 Loss和L2 Loss的推荐使用原则及具体场景分析： --- ### 一、核心特性对比 | **特性** | **L1 Loss (MAE)** | **L2 Loss (MSE)** | |--------------------|-------------...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值