L1 Loss,L2 Loss和Smooth L1 Loss 的对比

最新推荐文章于 2025-05-20 10:07:30 发布
最新推荐文章于 2025-05-20 10:07:30 发布
阅读量1k 收藏 4
点赞数
CC 4.0 BY-SA版权
分类专栏： 深度学习与计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Brook_cv/article/details/103489966
本文对比了L1 Loss、L2 Loss和Smooth L1 Loss，讨论了它们的优缺点。L2 Loss因其平滑性利于梯度下降，但对离群点敏感；L1 Loss对离群点不敏感但导数不连续；Smooth L1 Loss结合两者优点，防止梯度爆炸并降低离群点影响。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

总结对比下L1L_1L1​ 损失函数，L2L_2L2​ 损失函数以及SmoothL1\text{Smooth} L_1SmoothL1​ 损失函数的优缺点。

均方误差MSE (L2L_2L2​ Loss)

均方误差（Mean Square Error,MSE）是模型预测值f(x)f(x)f(x) 与真实样本值yyy 之间差值平方的平均值，其公式如下
MSE=∑i=1n(fxi−yi)2n MSE = \frac{\sum_{i=1}^n(f_{x_i} - y_i)^2}{n} MSE=n∑i=1n​(fxi​​−yi​)2​
其中，yiy_iyi​和f(xi)f(x_i)f(xi​

最低0.47元/天 解锁文章

200万优质内容无限畅学
【AI面试】回归损失横评：L1 loss、L2 loss和Smooth L1 Loss，L1正则化和L2正则化、IOU loss系列
钱多多先森
05-03 2355
损失函数是深度学习模型优化的一个灵魂基础，所以无论是很新的transform模型，还是比较早期的AlexNet，都不可避免的要涉及到损失函数的设计和应用。 所以，各种形形色色的损失函数（Loss）也就成了面试场上，不经意间就会被牵扯到的问题。 其中，目标检测任务的损失函数由Classificition Loss和Bounding Box Regeression Loss两部分构成。本次我们着重关注BoundingBox Loss 目标检测回归损失，之后有时间我们关注分类等损失函数。 1. L1 loss、
L1, L2以及smooth L1 loss
yang_daxia的博客
06-10 1万+
在机器学习实践中，你也许需要在神秘的L1和L2中做出选择。通常的两个决策为：1) L1范数 vs L2范数 的损失函数； 2) L1正则化 vs L2正则化。 作为损失函数   L1范数损失函数，也被称为最小绝对值偏差（LAD），最小绝对值误差（LAE）。总的说来，它是把目标值（YiYi）与估计值（f(xi)f(xi)）的绝对差值的总和（SS）最小化： S=∑i=1n|Yi−f(xi)...
一文理清L1 loss、L2 loss、smooth L1 loss原理与区别
风中一匹狼的博客
08-29 1万+
L1 loss L2 loss smooth L1 loss
L1 loss, L2 loss以及Smooth L1 Loss的对比
技术研究中心
12-11 1197
总结对比下\(L_1\) 损失函数，\(L_2\) 损失函数以及\(\text{Smooth} L_1\) 损失函数的优缺点。 均方误差MSE (\(L_2\) Loss) 均方误差（Mean Square Error,MSE）是模型预测值\(f(x)\) 与真实样本值\(y\) 之间差值平方的平均值，其公式如下\[ MSE = \frac{\sum_{i=1}^n(f_{x_i} - y_i...
常见回归损失函数详解：L1 Loss, L2 Loss, Huber Loss
最新发布
clmm_的博客
05-20 483
L1 损失函数又称为绝对误差损失，其形式为，即预测值与真实值之间差值的绝对值。该函数对异常值具有鲁棒性，梯度恒定不易爆炸，但由于不可导点和不连续导数，可能导致优化过程中收敛速度变慢。
L1 loss 和 L2 loss 比较
ls83776736的博客
07-10 1万+
1、L1 loss 在零点不平滑，用的较少  2、Smooth L1 Loss 修改零点不平滑问题  3、L2 loss：对离群点比较敏感，如果feature 是 unbounded的话，需要好好调整学习率，防止出现梯度爆炸的情况[fast rcnn]   4、一般来说，L1正则会制造稀疏的特征，大部分无用特征的权重会被置为0。 L2正则会让特征的权重不过大，使得特征的权重比较平均。 5、...
模型训练的auc和loss比较问题
yisun123456的博客
11-04 3754
AUC 反应的是正样本在负样本前面的概率问题，AUC越大，说明正样本更靠前。 LOSS 反应的是真实值与预测值之前的差值，就是损失，LOSS越小，说明预测值越接近于真实值。在二分类问题中，LOSS越小，说明预测的样本预测值两极占比高（负样本更接近0，正样本更接近1） 例如：两个模型A B，一个auc高一些，但log也大一些。另一个auc低，但log也低。 A模型AUC高，说明它在判断哪个更好的方面，有着更好的表现，但是可能它比较“保守”，预估分都接近于正负样本的比例值（比如ctr=0.1，则预估分接近0
目标检测回归损失函数1：L1 loss, L2 loss以及Smooth L1 Loss的对比
weixin_43868576的博客
08-23 1069
这个博客让我看明白了三者的区别： https://www.cnblogs.com/wangguchangqing/p/12021638.html 总结就是smooth L1 loss完美的规避了L1 loss和L2 loss的缺点 相对于L1 loss来说，收敛的更快了 相对于L2 loss来说，对于离群点更加友好，梯度变化小 ...
回归问题常用损失函数L1Loss、L2Loss、SmoothL1Loss
weixin_44104200的博客
04-16 2799
L1范数误差(L1 loss) 代表：MAE(Mean Absolute Error, 均绝对误差)。即估计值f(x)f(x)f(x)与真实值yyy之间距离的均值。 MAE=1n∑i=1n∣f(xi)−yi∣MAE=\frac{1}{n}\sum_{i=1}^n|f(x_i)-y_i|MAE=n1​i=1∑n​∣f(xi​)−yi​∣ 优点 无论对于什么样的输入值，都有着稳定的梯度，不会导致梯度爆炸问题，具有较为稳健性的解。 对于离群点不那么敏感。因为MAEMAEMAE计算的是误差y−f(x)y−f(x)
L1 loss VS L2 loss； L1 regularization VS L2 regularization
Huiyu Blog
11-22 900
L1 和L2 既可以作为 loss function 也可以作为 reguarization L1 loss VS L2 loss 公式 比较 鲁棒性：L1 更鲁棒，因为L2 的误差会平方增长。当存在离群点（outliers)的时候，这些点会占loss的主要组成部分, 使用梯度下降法求解的时候梯度很大，可能导致梯度爆炸.。 稳定性（数据集的一个小的移动）：L2 是比L1 具有更好的性质。 收敛...
【损失函数】SmoothL1Loss 平滑L1损失函数
Next_SummerAgain的博客
12-28 3299
SmoothL1Loss 平滑L1损失函数 是 PyTorch 中的一个损失函数，通常用于回归问题。它是 L1 损失和 L2 损失的结合，旨在减少对异常值的敏感性。
torch.nn.functional as F smooth_l1_loss
萝卜的博客
12-07 7871
  import torch.nn.functional as F 1. output = model(imgL,imgR) output = torch.squeeze(output,1) loss = F.smooth_l1_loss(output[mask], disp_true[mask], size_average=True) loss.backward() 2. outp...
目标检测之Loss：FasterRCNN中的SmoothL1Loss
BigCowPeking
04-03 1万+
多任务损失（来自Fast R-CNN） multi-task数据结构Fast R-CNN网络有两个同级输出层（cls score和bbox_prdict层），都是全连接层，称为multi-task。① clsscore层：用于分类，输出k+1维数组p，表示属于k类和背景的概率。对每个RoI（Region of Interesting）输出离散型概率分布通常，p由k+1类的全连接层利用softmax...
深度学习(23):SmoothL1Loss损失函数
biter0088的博客
05-01 6239
SmoothL1Loss损失函数
目标检测:损失函数之SmoothL1Loss
u013250861的博客
06-15 651
L1(y,f(x))=1n∑i=1n∣f(xi)−yi∣(1)L1(y,f(x))=\frac{1}{n} \sum_{i=1}^{n}|f(x_i)-y_i| \tag{1}L1(y,f(x))=n1​i=1∑n​∣f(xi​)−yi​∣(1)理想中的梯度变化应该是：训练初期值较大，则梯度也大，可以加快模型收敛；训练后期值较小，梯度也应小，使模型收敛到全局（或局部）极小值。L1 Loss 优点：梯度值稳定，使得训练平稳；不易受离群点（脏数据）影响，所有数据一视同仁。 L1 Loss 缺点：处不可导，可能影
【Smooth L1 Loss】Smooth L1损失函数理解
热门推荐
计算机视觉方面的点点滴滴，欢迎一起讨论
05-21 3万+
文章目录1 引言2 L1 Loss3 L2 Loss4 Smooth L1 Loss5 曲线对比分析参考链接 1 引言 目标检测任务的损失函数由Classificition Loss和Bounding Box Regeression Loss两部分构成。 Bounding Box Regression Loss Function的演进路线是： Smooth L1 Loss --> IoU Loss --> GIoU Loss --> DIoU Loss --> CIoU Loss 本
图像分割loss对比
Maisie_Nan的博客
05-08 984
1.binary_crossentropy # Loss最终用binary_crossentropy loss，sigmoid激活后放到一个logit的loss里 loss = tf.reduce_mean(tf.keras.losses.binary_crossentropy(labels, pred)) 2.sigmoid_cross_entropy_with_logits 不行 # # 第一种loss， sigmoid_cross_entropy_with_logits输入为未激活的
【YOLO系列】 Smooth L1 Loss、IOU、GIOU、DIOU、CIOU（附代码实现）
江湖小Jay的博客
01-11 2181
Smooth L1 Loss、IOU、GIOU、DIOU和CIOU都是用于评估模型预测准确性的指标，但它们在计算方式和应用场景上有所不同。
smooth l1 loss参数
03-29
<think>嗯，用户想了解Smooth L1 Loss的参数和用法，我需要先回忆一下相关的知识。记得Smooth L1 Loss是结合了L1和L2损失的优点，在目标检测中常用，比如Faster R-CNN。参数方面，PyTorch里的SmoothL1Loss有几个参数，比如size_average、reduce、beta等。用户可能需要知道每个参数的作用，以及如何调整它们。 首先，我应该检查引用资料里的信息。引用[3]提到了Smooth L1 Loss的函数定义和应用示例，里面可能涉及参数设置。引用[4]讨论了L1和L2的优缺点，以及Smooth L1如何结合两者，这可能帮助解释应用场景。 用户的问题包括参数详解和应用场景，所以需要分两部分回答。参数部分需要解释每个参数的作用，比如beta控制过渡区间的大小，reduce和size_average影响损失计算的方式。应用场景方面，目标检测是主要的，特别是处理离群点的情况，还有需要平衡梯度稳定和收敛的情况。 要注意使用正确的LaTeX格式，比如数学表达式用$...$。例如，Smooth L1的公式需要正确展示，分段函数用cases环境。还要确保参数说明清晰，可能用列表或编号的方式。 另外，用户提供的引用中有示例代码，可以引用到参数用法的部分，比如beta的设置如何影响损失函数形状。还要注意引用标识的正确添加，比如在提到梯度稳定时引用[2]和[4]。 现在需要组织信息：先介绍Smooth L1 Loss的定义和公式，然后参数详解，每个参数的作用和默认值，接着应用场景，最后示例代码。可能还需要生成相关问题，比如与其他损失函数的比较，参数调整的影响等。 需要确认PyTorch中SmoothL1Loss的参数是否有变化，比如是否beta是后来加入的，或者是否有默认值。根据引用[3]的代码示例，可能函数定义时没有显式设置beta，但实际现在PyTorch的文档中可能有beta参数，默认1.0。需要核对正确性。 最后，确保回答结构清晰，分点说明，符合用户要求的格式，同时自然引用文献。</think>### Smooth L1 Loss 参数详解及应用场景 #### 一、Smooth L1 Loss 定义 Smooth L1 Loss 结合了 L1 Loss 和 L2 Loss 的优点，其数学定义为： $$ \text{Smooth L1}(x) = \begin{cases} 0.5x^2 / \beta & \text{if } |x| < \beta \\ |x| - 0.5\beta & \text{otherwise} \end{cases} $$ 其中 $x$ 是预测值与真实值的差值，$\beta$ 是控制平滑区间范围的参数[^2][^4]。 --- #### 二、参数详解（以 PyTorch 为例） 在 PyTorch 中，`torch.nn.SmoothL1Loss` 的主要参数如下： 1. **`beta`**（默认值：1.0） - **作用**：控制损失函数从二次函数（L2）过渡到线性函数（L1）的阈值。 - **调整效果**：$\beta$ 越大，平滑区间范围越宽；$\beta \to 0$ 时趋近于 L1 Loss。 2. **`reduction`**（默认值：`'mean'`） - 可选值：`'none'`（不降维）、`'mean'`（取均值）、`'sum'`（求和）。 - **示例**：若输入为 $N$ 个样本，`reduction='mean'` 会计算所有样本损失的平均值。 3. **`size_average` 和 `reduce`** - 旧版本兼容参数，建议优先使用 `reduction` 参数[^3]。 --- #### 三、应用场景 1. **目标检测**（如 Faster R-CNN） - **原因**：对边界框回归任务，Smooth L1 Loss 能抑制离群点（outliers）的梯度爆炸问题，同时保持对小误差的敏感性[^4]。 2. **需平衡梯度稳定性的场景** - 当数据中存在噪声或离群点时，Smooth L1 Loss 比 L2 Loss 更鲁棒；相比 L1 Loss，它在小误差区域提供更平滑的梯度。 3. **动态学习任务** - 例如：在训练初期使用较大 $\beta$ 加速收敛，后期调小 $\beta$ 以提高精度。 --- #### 四、代码示例（PyTorch） ```python import torch import torch.nn as nn # 定义参数 beta = 0.5 # 调整平滑区间 loss_fn = nn.SmoothL1Loss(beta=beta, reduction='mean') # 生成数据 y_hat = torch.randn(10, requires_grad=True) # 预测值 y = torch.randn(10) # 真实值 # 计算损失 loss = loss_fn(y_hat, y) print(loss) ``` 此代码展示了如何通过调整 $\beta$ 控制损失函数的形状。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值