smooth_L1个人理解

最新推荐文章于 2025-05-27 01:29:25 发布
最新推荐文章于 2025-05-27 01:29:25 发布
阅读量6.1k 收藏 3
点赞数 1
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_39354819/article/details/81333769
本文探讨了在机器学习中，如何根据不同场景选择合适的范数：小于1时采用2范数以获得更平滑的效果并便于求导；大于1时则选用1范数来避免梯度爆炸并减少异常值的影响。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

这里写图片描述
相当于是在小于1的部分使用2范数（更smooth，且求导方便）,在大于1的部分使用1范数(避免梯度爆炸，同时减少outlier的影响)

abugh
关注
深度学习知识点全面总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-05 34万+
本文详细介绍深度学习概念及原理，参考网上相关资料汇总，内容包含众多章节，包括神经网络基础及常见深度学习网络结构介绍，用于个人学习总结，适合深度学习初学者学习。同时介绍机器学习常见的分类算法：SVM、神经网络、随机森林、逻辑回归、KNN、贝叶斯。常见的监督学习算法：感知机、SVM、人工神经网络、决策树、逻辑回归.........
5.深度学习 ② 常用损失函数 1）
驽马十驾，功在不舍；锲而不舍，金石可镂。
05-04 8317
loss函数大全参考文件 平均绝对误差（MAE）/L1 Loss 当torch.nn.L1Loss的参数reduction选择’sum’时即为L1 loss； 当选择 ‘mean’ /'none’时，即为MAE。 KaTeX parse error: Can't use function '\]' in math mode at position 74: …_i^p} \right|} \̲]̲............
梳理L1、L2与Smooth L1
深海游鱼
07-04 1679
梳理L1、L2与Smooth L1 关于L1、L2的范数、损失函数和正则化，之前一直混淆这几个概念，故对这几天看过的资料进行了梳理。 范数(norm)是数学中的一种基本概念。在泛函分析中，它定义在赋范线性空间中，并满足一定的条件，即①非负性；②齐次性；③三角不等式。它常常被用来度量某个向量空间（或矩阵）中的每个向量的长度或大小。 首先以L2范数为例对范数做一个简单的说明： L2范数: 假设XXX是n维的特征X=(x1,x2,x3,…,xn)X=(x_1,x_2,x_3,…,x_n)X=(x1​,x2​,
L1、L2、smooth L1三类损失函数
热门推荐
weixin_41940752的博客
06-21 7万+
一、常见的MSE、MAE损失函数 1.1 均方误差、平方损失 均方误差（MSE）是回归损失函数中最常用的误差，它是预测值与目标值之间差值的平方和，其公式如下所示： 下图是均方根误差值的曲线分布，其中最小值为预测值为目标值的位置。 优点：各点都连续光滑，方便求导，具有较为稳定的解 缺点：不是特别的稳健，为什么？因为当函数的输入值距离中心值较远的时候，使用梯度下降法求解的时候梯度很大，可能导致梯度爆...
为什么用交叉熵代替二次代价函数_常用的损失函数
weixin_39754616的博客
11-22 411
什么是损失函数？损失函数 （Loss Function） 也可称为代价函数 （Cost Function）或误差函数（Error Function），用于衡量预测值与实际值的偏离程度。一般来说，我们在进行机器学习任务时，使用的每一个算法都有一个目标函数，算法便是对这个目标函数进行优化，特别是在分类或者回归任务中，便是使用损失函数（Loss Function）作为其目标函数。机器学习的目标就是希望预...
smooth L1 loss是什么以及为什么好
qq_20481015的博客
08-29 3326
转载链接：https://www.jianshu.com/p/19483787fa24 smooth L1 loss能从两个方面限制梯度： 当预测框与 ground truth 差别过大时，梯度值不至于过大； 当预测框与 ground truth 差别很小时，梯度值足够小。 考察如下几种损失函数，其中 损失函数对 x 的导数分别为： 观察 (4)，当 x...
L1、L2、Smooth L1损失函数
weixin_43082343的博客
11-13 2154
L1、L2、Smooth L1L1L2Smooth L1 L1 L1也就是平均绝对误差 Mean Absolute Error（MAE） 优点：无论对于什么样的输入值，都有着稳定的梯度，不会导致梯度爆炸问题，具有较为稳健性的解。 缺点：在中心点是折点，不能求导，不方便求解，可能得不到全局最优解。 L2 L2也就是常说的均方误差 Mean Square Error（MSE） 优点：各点都连续光滑，方便求导，具有较为稳定的解。 缺点：不是特别的稳健，当函数的输入值距离中心值较远的时候，使用梯度下降法
pytorch-ssd源码解读（三）------------multibox_loss（损失函数）
goodxin_ie的博客
04-29 7280
pytorch-ssd 本人加的注释版本 一、SSD损失函数 SSD的损失函数与region proposal方法有个明显的区别，在于SSD并不是针对所有的检测器计算loss。SSD会用一种匹配策略给每个检测器分配一个真实标签(背景为0，前景为对应的物体类别)。指定的标签为前景的预测器称为正样本(正样本全部计算loss)。标签为背景的预测器是负样本，并不是所有的负样本都用来计算loss(...
预训练模型在视频目标检测中的实践
最新发布
AI天才研究院
05-27 734
视频目标检测是计算机视觉领域的核心任务之一，其目的在于识别视频序列中特定目标的类别和位置。随着视频数据的爆炸式增长，如监控视频、自动驾驶视频等，对高效准确的视频目标检测技术需求日益迫切。预训练模型的引入为视频目标检测带来了新的突破，本文章的目的是深入探讨预训练模型在视频目标检测中的实践应用，涵盖从理论基础到实际项目开发的全过程，旨在帮助读者掌握如何利用预训练模型解决视频目标检测问题。本文将按照以下结构展开：首先介绍相关核心概念与联系，包括目标检测的基本概念和预训练模型的原理；
把握量化价值投资，从卫星图像开始
AI天才研究院
04-24 674
本文旨在为量化投资从业者和数据科学家提供一个全面的指南，介绍如何利用卫星图像这一新兴数据源来增强传统的价值投资策略。我们将覆盖从数据获取、处理到最终投资决策的完整流程，特别关注计算机视觉和深度学习技术在金融领域的创新应用。本文首先介绍卫星图像在投资分析中的价值和应用场景，然后深入探讨技术实现细节，包括核心算法和数学模型。随后我们将通过实际案例展示完整的实现流程，最后讨论这一领域的未来发展趋势和挑战。量化价值投资：结合定量分析和价值投资理念的投资方法，通过数学模型识别被低估的资产卫星图像分析。
SmoothL1 loss
一路狂奔的猪的博客
05-22 3291
实现代码如下： def smooth_l1_loss(input, target, sigma, reduce=True, normalizer=1.0): beta = 1. / (sigma ** 2) diff = torch.abs(input - target) cond = diff < beta loss = torch.where(c...
L1 L2正则化、Smooth L1、优化器weight_decay、坐标轴下降、近端梯度下降 (proximal gradient descent)、subgradient次梯度
taoqick的专栏
10-06 2803
简单说就是L(w)+Cw^2和L(w)+C|w|这俩目标函数求导结果分别是+2Cw和+C，+C不会随着w的变化而变化，所以解空间就稀疏了。
深度学习损失函数之——L1 L2 SmoothL1(范数、损失函数、正则化)
vv___的博客
05-04 7613
L1，L2以及Smooth L1是深度学习中常见的3种损失函数，这3个损失函数有各自的优缺点和适用场景。 首先给出各个损失函数的数学定义，假设 xxx 为预测值与Ground Truth之间的差值： L1 loss表示预测值和真实值之差的绝对值；也被称为最小绝对值偏差（LAD），绝对值损失函数（LAE）。总的说来，它是把目标值 yiy_iyi​ 与估计值 f(xi)f(x_i)f(xi​) 的绝对差值的总和最小化。 L2 loss表示与测值和真实值之差的平方；L2范数损失函数，也被称为最小平方误差
faster rcnn的源码理解（一）SmoothL1LossLayer论文与代码的结合理解
Leo的博客
09-05 3527
源码： [python] view plain copy  print? // ------------------------------------------------------------------   // Fast R-CNN   // Copyright (c) 2015 Microsoft   // Licensed u
损失函数一直在波动_各种损失函数详解
weixin_39841610的博客
11-24 3587
开一篇文章，记录我遇到过的论文中损失函数。还没看过多少文章，所以目前接触的还比较少。简单的诸如0-1损失的就不提了，比较简单。2. 均方误差函数这个损失函数大家都能理解，形式比较简单: 。主要应用于回归任务，如在目标检测任务中对于坐标的损失计算。3. 交叉熵损失广泛应用于分类的损失函数，一般是先将网络输出进行一个softmax操作，将数值转为类别概率（以前一直疑惑为什么要用softmax，而不直...
【角度回归（1）】Eula 损失函数，使用sin联合SmoothL1， MultiBin 全局方向损失，L1/L2-norm 的周期损失函数,CenterPoint,CSL环形平滑标签
Hali_Botebie的博客
11-18 2165
Lloc定位损失试图最小化真实值与覆盖该值的所有 bin 之间的差异，这相当于最大化余弦距离.其中 nθ∗ 是覆盖真实角度 θ∗ 的 bin 数量，ci 是 bin i 中心的角度，Δθi 是需要应用于 bin i 中心的变化。smooth L1损失函数曲线如下图所示，作者这样设置的目的是想让loss对于离群点更加鲁棒，相比于L2损失函数，其对离群点（指的是距离中心较远的点）、异常值（outlier）不敏感，可控制梯度的量级使训练时不容易跑飞。给定固有的相机参数，特定像素的光线方向计算起来很简单。
目标检测框回归损失函数-SmoothL1、Iou、Giou、Diou和Ciou
weixin_41803339的博客
05-27 4218
目录 1 引言 2检测框回归损失函数 2.1 SmoothL1 2.1.1 SmoothL1 Torch实现代码 2.1.2 SmoothL1的缺点 2.2 Iou 2.2.1 Iou Torch代码实现 2.2.2 Iou的缺点 2.3 Giou 2.3.1 Giou Torch实现代码 2.3.2 Giou 缺点 2.4 Diou和Ciou 2.4.1 Diou Torch实现代码 2....
深度学习(23):SmoothL1Loss损失函数
biter0088的博客
05-01 6278
SmoothL1Loss损失函数
L1、L2、smooth L1三种距离回归损失函数
qq_43258953的博客
12-09 2765
L1、L2、smooth L1三种距离回归损失函数，smooth L1算是L1与L2合体，继承了两者优点，广泛应用于物体检测与实体分割。 L1_Loss和L2_Loss L1损失函数，也被称为最小绝对值偏差（LAD），最小绝对值误差（LAE）。总的说来，它是目标值（Yi)与估计值（f(xi))的绝对差值的总和。 L2损失函数，也被称为最小平方误差（LSE）。总的来说，它是目标值（Yi)与估计值（...
F.smooth_l1_loss
07-17
F.smooth_l1_loss是PyTorch中的一个函数用于计算平滑L1损失。平滑L1损失是一种用于回归问题的损失函数，它在目标值与预测值之间进行平滑处理，可以减轻离群点的影响，同时保持L1损失的稳定性。 具体来说，平滑L1...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值