【深度学习】smooth L1 loss 计算

已于 2023-01-26 16:06:54 修改
阅读量2.7w 收藏 25
点赞数 4
CC 4.0 BY-SA版权
分类专栏： 深度学习 文章标签： 深度学习 人工智能 计算机视觉 神经网络 cnn
于 2017-12-20 15:24:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/jningwei/article/details/78853669
本文介绍了RPN（区域提议网络）中的目标函数组成部分，包括分类损失和回归损失。分类损失使用交叉熵，而回归损失则采用了SmoothL1损失函数，该函数结合了L1和L2的优点，在保证对异常值不敏感的同时，还能实现快速收敛。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

RPN的目标函数是分类和回归损失的和，分类采用 交叉熵，回归采用稳定的 Smooth L1，

SmoothL1公式 为：
s m o o t h L 1 ( x ) = { 0.5 x 2 ， ∣ x ∣ ≤ 1 ∣ x ∣ − 0.5 ， ∣ x ∣ > 1 smooth_{L_{1}}(x)=\left\{ \begin{aligned} &0.5x^{2}&，&|x|\leq1 \\ &|x|-0.5&，&|x|>1 \end{aligned} \right. smoothL1​​(x)={​0.5x2∣x∣−0.5​，，​∣x∣≤1∣x∣>1​

整体损失函数 具体为：
这里写图片描述
Smooth L1

  • 相比于L1损失函数，可以收敛得更快。
  • 相比于L2损失函数，对离群点、异常值不敏感，梯度变化相对更小，训练时不容易跑飞。

[1] Faster R-CNN原理介绍
[2] 深度网络中softmax_loss、Smooth L1 loss计算以及反向传播推导

【AI面试】回归损失横评：L1 loss、L2 loss和Smooth L1 Loss，L1正则化和L2正则化、IOU loss系列
钱多多先森
05-03 2388
损失函数是深度学习模型优化的一个灵魂基础，所以无论是很新的transform模型，还是比较早期的AlexNet，都不可避免的要涉及到损失函数的设计和应用。 所以，各种形形色色的损失函数（Loss）也就成了面试场上，不经意间就会被牵扯到的问题。 其中，目标检测任务的损失函数由Classificition Loss和Bounding Box Regeression Loss两部分构成。本次我们着重关注BoundingBox Loss 目标检测回归损失，之后有时间我们关注分类等损失函数。 1. L1 loss、
【AI面试】hard label与soft label，Label Smoothing Loss 和 Smooth L1 Loss
钱多多先森
03-14 1179
都知道one hot label，用于分类，那知不知道soft label ，也可以用于分类任务。并且在某些场景，效果更优
【深度学习】【目标检测】损失函数smooth L1 Loss
Hana
10-16 1421
pytorch之常用Loss函数总结参考文档L1、L2、smooth L1 Losssoftmax_cross_entropy_with_logitssparse_softmax_cross_entropy_with_logitsbinary_cross_entropysigmoid_cross_entropy 参考文档 参考文档 参考文档 L1、L2、smooth L1 Loss softmax...
深度学习(23):SmoothL1Loss损失函数
biter0088的博客
05-01 6295
SmoothL1Loss损失函数
详解torch SmoothL1Loss
牛肉胡辣汤
01-23 2632
在深度学习中，损失函数是评估模型性能的重要指标之一。SmoothL1Loss是一个常用的损失函数之一，在目标回归问题中，它可以在一定程度上平衡L1 Loss和L2 Loss。SmoothL1Loss是一种平滑的损失函数，它对于目标和预测之间的差异进行鲁棒的度量。SmoothL1Loss(x, y) = 0.5 * (x - y)^2, 如果|x - y| < 1= |x - y| - 0.5, 其他情况其中，x是预测值，y是目标值。
【损失函数】SmoothL1Loss 平滑L1损失函数
Next_SummerAgain的博客
12-28 3359
SmoothL1Loss 平滑L1损失函数 是 PyTorch 中的一个损失函数，通常用于回归问题。它是 L1 损失和 L2 损失的结合，旨在减少对异常值的敏感性。
Smooth L1 Loss（Huber）：pytorch中的计算原理及使用问题
球场恶汉的博客
04-21 2万+
本人在进行单目深度估计实验时，使用Huber作为损失函数，也就是通常所说SmoothL1损失： SmoothL1(x,y)={0.5(xi−yi)2if ∣xi−yi∣&lt;1 ∣xi−yi∣−0.5otherwise Smooth_{L1}(x,y) = \begin{cases} 0.5(x_i-y_i)^2 &amp; \text{if $|x_i-...
第四章 深度解读损失函数CrossEntropyLoss，BCELoss，BCEWithLogitsLoss，NLLLoss，MSELoss，L1Loss，Smooth L1 Loss(工具)
专注于人工智能学习，总结
11-17 545
但通常我们的惯性思维是，一维是Tensor©，二维是Tensor(N, C)，那三维自然应该是Tensor(d, N, C)，这样输入CE函数后得到的loss形状为Tensor(d, N)。N表示batch的大小，我们单独拿出batch中的一个样本，这时Tensor的形状为(C, d)。在三维输入Tensor(N, C, d)的情况下，torch.nn.CrossEntropyLoss()在第二个维度，也就是维度C上求CE损失，最后得到的损失输出为Tensor(N, d)。是指的二分类的交叉熵。
深度学习知识点全面总结
热门推荐
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-05 34万+
本文详细介绍深度学习概念及原理，参考网上相关资料汇总，内容包含众多章节，包括神经网络基础及常见深度学习网络结构介绍，用于个人学习总结，适合深度学习初学者学习。同时介绍机器学习常见的分类算法：SVM、神经网络、随机森林、逻辑回归、KNN、贝叶斯。常见的监督学习算法：感知机、SVM、人工神经网络、决策树、逻辑回归.........
目标检测:损失函数之SmoothL1Loss
u013250861的博客
06-15 653
L1(y,f(x))=1n∑i=1n∣f(xi)−yi∣(1)L1(y,f(x))=\frac{1}{n} \sum_{i=1}^{n}|f(x_i)-y_i| \tag{1}L1(y,f(x))=n1​i=1∑n​∣f(xi​)−yi​∣(1)理想中的梯度变化应该是：训练初期值较大，则梯度也大，可以加快模型收敛；训练后期值较小，梯度也应小，使模型收敛到全局（或局部）极小值。L1 Loss 优点：梯度值稳定，使得训练平稳；不易受离群点（脏数据）影响，所有数据一视同仁。 L1 Loss 缺点：处不可导，可能影
【Smooth L1 Loss】Smooth L1损失函数理解
计算机视觉方面的点点滴滴，欢迎一起讨论
05-21 3万+
文章目录1 引言2 L1 Loss3 L2 Loss4 Smooth L1 Loss5 曲线对比分析参考链接 1 引言 目标检测任务的损失函数由Classificition Loss和Bounding Box Regeression Loss两部分构成。 Bounding Box Regression Loss Function的演进路线是： Smooth L1 Loss --> IoU Loss --> GIoU Loss --> DIoU Loss --> CIoU Loss 本
L1/L2/smooth_l1_loss/center_loss+Dice Loss+focal loss+各种IOU loss+kl散度
智障变智能
10-16 8959
函数： def smooth_l1_loss(y_true, y_pred): """Implements Smooth-L1 loss. y_true and y_pred are typically: [N, 4], but could be any shape. """ diff = tf.abs(y_true - y_pred) less_th...
【YOLO系列】 Smooth L1 Loss、IOU、GIOU、DIOU、CIOU（附代码实现）
江湖小Jay的博客
01-11 2259
Smooth L1 Loss、IOU、GIOU、DIOU和CIOU都是用于评估模型预测准确性的指标，但它们在计算方式和应用场景上有所不同。
SmoothL1 loss
一路狂奔的猪的博客
05-22 3292
实现代码如下： def smooth_l1_loss(input, target, sigma, reduce=True, normalizer=1.0): beta = 1. / (sigma ** 2) diff = torch.abs(input - target) cond = diff < beta loss = torch.where(c...
PyTorch学习笔记：nn.SmoothL1Loss——平滑L1损失
qq_50001789的博客
02-10 8912
PyTorch学习笔记：nn.SmoothL1Loss——平滑L1损失
F.smooth_l1_loss, F.cross_entropy ,F.binary_cross_entropy 计算细节的探究
weixin_45209433的博客
03-27 4776
def smooth_l1_loss(a, b): loss_part1 = torch.abs(a - b) loss_part2 = loss_part1 ** 2 loss_part2 = loss_part2 * 0.50 loss2 = torch.where(loss_part1 >= 1, loss_part1 - 0.5, loss_part2...
目标检测：损失函数之SmoothL1Loss
BigCowPeking
02-04 3万+
fasterRCNN中的RPN的回归框的loss计算方法 再次深入的解读SmoothL1Loss损失函数： fasterRCNN中SmoothL1Loss的详解  
L1、L2正则化以及smooth L1 loss
m0_64007201的博客
11-02 1016
L1、L2、smooth L1
深度学习box_loss cls_loss dfl_loss
最新发布
02-26
F.smooth_l1_loss(torch.sqrt(wh_ratio_clip), torch.ones_like(wh_ratio_clip)).mean()) ``` #### Class Loss (分类置信度损失) Class loss负责监督目标类别预测的质量。对于多类别的检测任务而言，一般会利用...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值