【深度学习】smooth L1 loss 计算

已于 2023-01-26 16:06:54 修改
阅读量2.7w 收藏 25
点赞数 4
分类专栏： 深度学习 文章标签： 深度学习 人工智能 计算机视觉 神经网络 cnn
于 2017-12-20 15:24:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/jningwei/article/details/78853669
版权

RPN的目标函数是分类和回归损失的和，分类采用 交叉熵，回归采用稳定的 Smooth L1，

SmoothL1公式 为：
s m o o t h L 1 ( x ) = { 0.5 x 2 ， ∣ x ∣ ≤ 1 ∣ x ∣ − 0.5 ， ∣ x ∣ > 1 smooth_{L_{1}}(x)=\left\{ \begin{aligned} &0.5x^{2}&，&|x|\leq1 \\ &|x|-0.5&，&|x|>1 \end{aligned} \right. smoothL1​​(x)={​0.5x2∣x∣−0.5​，，​∣x∣≤1∣x∣>1​

整体损失函数 具体为：
这里写图片描述
Smooth L1

  • 相比于L1损失函数，可以收敛得更快。
  • 相比于L2损失函数，对离群点、异常值不敏感，梯度变化相对更小，训练时不容易跑飞。

[1] Faster R-CNN原理介绍
[2] 深度网络中softmax_loss、Smooth L1 loss计算以及反向传播推导

【AI面试】回归损失横评：L1 loss、L2 loss和Smooth L1 Loss，L1正则化和L2正则化、IOU loss系列
钱多多先森
05-03 2327
损失函数是深度学习模型优化的一个灵魂基础，所以无论是很新的transform模型，还是比较早期的AlexNet，都不可避免的要涉及到损失函数的设计和应用。 所以，各种形形色色的损失函数（Loss）也就成了面试场上，不经意间就会被牵扯到的问题。 其中，目标检测任务的损失函数由Classificition Loss和Bounding Box Regeression Loss两部分构成。本次我们着重关注BoundingBox Loss 目标检测回归损失，之后有时间我们关注分类等损失函数。 1. L1 loss、
深度学习知识点全面总结
热门推荐
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-05 33万+
本文详细介绍深度学习概念及原理，参考网上相关资料汇总，内容包含众多章节，包括神经网络基础及常见深度学习网络结构介绍，用于个人学习总结，适合深度学习初学者学习。同时介绍机器学习常见的分类算法：SVM、神经网络、随机森林、逻辑回归、KNN、贝叶斯。常见的监督学习算法：感知机、SVM、人工神经网络、决策树、逻辑回归.........
【损失函数】SmoothL1Loss 平滑L1损失函数
Next_SummerAgain的博客
12-28 3210
SmoothL1Loss 平滑L1损失函数 是 PyTorch 中的一个损失函数，通常用于回归问题。它是 L1 损失和 L2 损失的结合，旨在减少对异常值的敏感性。
【深度学习】【目标检测】损失函数smooth L1 Loss
Hana
10-16 1415
pytorch之常用Loss函数总结参考文档L1、L2、smooth L1 Losssoftmax_cross_entropy_with_logitssparse_softmax_cross_entropy_with_logitsbinary_cross_entropysigmoid_cross_entropy 参考文档 参考文档 参考文档 L1、L2、smooth L1 Loss softmax...
损失函数总结
最新发布
sylviiiiiia的博客
04-19 721
在信息论中，熵代表着信息量，H ( P ) H§H§代表着基于P PP分布自身的编码长度，也就是最优的编码长度（最小字节数）。KL散度的理论意义在于度量两个概率分布之间的差异程度，当KL散度越大的时候，说明两者的差异程度越大；MarginRankingLoss（边际排序损失）是一种用于学习排序模型的损失函数，常用于训练具有排序目标的模型，目标是将正样本的预测得分（正例）与负样本的预测得分（负例）之间的差异最大化，同时保持一定的边际（margin）。其中，y为标签，取值为1或-1，表示正样本或负样本；
深度学习(23):SmoothL1Loss损失函数
biter0088的博客
05-01 6125
SmoothL1Loss损失函数
详解torch SmoothL1Loss
牛肉胡辣汤
01-23 2539
在深度学习中，损失函数是评估模型性能的重要指标之一。SmoothL1Loss是一个常用的损失函数之一，在目标回归问题中，它可以在一定程度上平衡L1 Loss和L2 Loss。SmoothL1Loss是一种平滑的损失函数，它对于目标和预测之间的差异进行鲁棒的度量。SmoothL1Loss(x, y) = 0.5 * (x - y)^2, 如果|x - y| < 1= |x - y| - 0.5, 其他情况其中，x是预测值，y是目标值。
Smooth L1 Loss（Huber）：pytorch中的计算原理及使用问题
球场恶汉的博客
04-21 2万+
本人在进行单目深度估计实验时，使用Huber作为损失函数，也就是通常所说SmoothL1损失： SmoothL1(x,y)={0.5(xi−yi)2if ∣xi−yi∣&lt;1 ∣xi−yi∣−0.5otherwise Smooth_{L1}(x,y) = \begin{cases} 0.5(x_i-y_i)^2 &amp; \text{if $|x_i-...
第四章 深度解读损失函数CrossEntropyLoss，BCELoss，BCEWithLogitsLoss，NLLLoss，MSELoss，L1Loss，Smooth L1 Loss(工具)
专注于人工智能学习，总结
11-17 524
但通常我们的惯性思维是，一维是Tensor©，二维是Tensor(N, C)，那三维自然应该是Tensor(d, N, C)，这样输入CE函数后得到的loss形状为Tensor(d, N)。N表示batch的大小，我们单独拿出batch中的一个样本，这时Tensor的形状为(C, d)。在三维输入Tensor(N, C, d)的情况下，torch.nn.CrossEntropyLoss()在第二个维度，也就是维度C上求CE损失，最后得到的损失输出为Tensor(N, d)。是指的二分类的交叉熵。
【AI面试】hard label与soft label，Label Smoothing Loss 和 Smooth L1 Loss
钱多多先森
03-14 1159
都知道one hot label，用于分类，那知不知道soft label ，也可以用于分类任务。并且在某些场景，效果更优
目标检测:损失函数之SmoothL1Loss
u013250861的博客
06-15 649
L1(y,f(x))=1n∑i=1n∣f(xi)−yi∣(1)L1(y,f(x))=\frac{1}{n} \sum_{i=1}^{n}|f(x_i)-y_i| \tag{1}L1(y,f(x))=n1​i=1∑n​∣f(xi​)−yi​∣(1)理想中的梯度变化应该是：训练初期值较大，则梯度也大，可以加快模型收敛；训练后期值较小，梯度也应小，使模型收敛到全局（或局部）极小值。L1 Loss 优点：梯度值稳定，使得训练平稳；不易受离群点（脏数据）影响，所有数据一视同仁。 L1 Loss 缺点：处不可导，可能影
【Smooth L1 Loss】Smooth L1损失函数理解
计算机视觉方面的点点滴滴，欢迎一起讨论
05-21 3万+
文章目录1 引言2 L1 Loss3 L2 Loss4 Smooth L1 Loss5 曲线对比分析参考链接 1 引言 目标检测任务的损失函数由Classificition Loss和Bounding Box Regeression Loss两部分构成。 Bounding Box Regression Loss Function的演进路线是： Smooth L1 Loss --> IoU Loss --> GIoU Loss --> DIoU Loss --> CIoU Loss 本
L1/L2/smooth_l1_loss/center_loss+Dice Loss+focal loss+各种IOU loss+kl散度
智障变智能
10-16 8940
函数： def smooth_l1_loss(y_true, y_pred): """Implements Smooth-L1 loss. y_true and y_pred are typically: [N, 4], but could be any shape. """ diff = tf.abs(y_true - y_pred) less_th...
【YOLO系列】 Smooth L1 Loss、IOU、GIOU、DIOU、CIOU（附代码实现）
江湖小Jay的博客
01-11 2107
Smooth L1 Loss、IOU、GIOU、DIOU和CIOU都是用于评估模型预测准确性的指标，但它们在计算方式和应用场景上有所不同。
SmoothL1 loss
一路狂奔的猪的博客
05-22 3286
实现代码如下： def smooth_l1_loss(input, target, sigma, reduce=True, normalizer=1.0): beta = 1. / (sigma ** 2) diff = torch.abs(input - target) cond = diff < beta loss = torch.where(c...
PyTorch学习笔记：nn.SmoothL1Loss——平滑L1损失
qq_50001789的博客
02-10 8643
PyTorch学习笔记：nn.SmoothL1Loss——平滑L1损失
F.smooth_l1_loss, F.cross_entropy ,F.binary_cross_entropy 计算细节的探究
weixin_45209433的博客
03-27 4737
def smooth_l1_loss(a, b): loss_part1 = torch.abs(a - b) loss_part2 = loss_part1 ** 2 loss_part2 = loss_part2 * 0.50 loss2 = torch.where(loss_part1 >= 1, loss_part1 - 0.5, loss_part2...
目标检测：损失函数之SmoothL1Loss
BigCowPeking
02-04 3万+
fasterRCNN中的RPN的回归框的loss计算方法 再次深入的解读SmoothL1Loss损失函数： fasterRCNN中SmoothL1Loss的详解  
深度学习损失计算
03-10
### 深度学习中损失函数的概念 在深度学习领域，损失函数用于衡量模型预测值与真实标签之间的差异。通过最小化这种差异来优化神经网络参数，从而提高模型性能[^1]。 ### 常见的损失函数类型及应用场景 #### 分类问题的损失函数 对于多分类任务，常用的损失函数有： - **交叉熵损失函数 (Cross Entropy Loss)** 这是最广泛使用的分类损失函数之一，尤其适用于二元或多类别分类场景。其公式如下所示： \[ H(y, p) = -\sum_{i} y_i \log(p_i) \] 其中 \(y\) 表示实际标签分布而\(p\) 则代表预测概率向量[^2]。 - **负对数似然损失 (NLL Loss)** 主要应用于处理离散型数据集上的多分类问题，在Softmax层之后使用效果更佳[^4]。 #### 回归问题的损失函数 针对连续数值输出的任务，则会采用不同的评价标准： - **L1 损失函数** 它计算的是绝对误差平均值，具有较强的鲁棒性可以抵抗异常点的影响。 \[ L_1(\hat{y}, y)=|{\hat {y}}-{y}| \] - **MSE（均方差）损失函数** MSE 是指目标变量和估计之间平方差的期望值，常被用来评估线性回归模型的好坏程度。 ```python import torch.nn as nn mse_loss_fn = nn.MSELoss() ``` - **Smooth L1 Loss** 结合了L1和L2的优点，在一定程度上缓解梯度过大或者过小的问题，特别适合于边界框坐标预测等场合。 ### 自定义损失函数 当现有损失函数无法满足特定需求时，可以根据具体业务逻辑设计新的损失函数。这通常涉及到调整权重系数、引入额外惩罚项等方式以更好地适应目标任务特性。 ### 如何选择合适的损失函数？ 挑选最适宜当前项目的损失函数取决于多个因素，包括但不限于输入特征空间维度大小、样本数量多少以及是否存在不平衡现象等等。建议先尝试经典方案再逐步探索改进版本直至找到最优解法。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值