L1 loss L2 loss

最新推荐文章于 2025-01-18 16:21:42 发布

weixin_34281477

最新推荐文章于 2025-01-18 16:21:42 发布

阅读量143

点赞数

本文介绍了机器学习中常用的两种损失函数：L1-loss 和 L2-loss 的概念及区别。L1-loss 类似于 L1 范式，而 L2-loss 与 L2 范式有关但不完全相同，它涉及到了两值相减后的平方运算。

https://www.letslearnai.com/2018/03/10/what-are-l1-and-l2-loss-functions.html

http://rishy.github.io/ml/2015/07/28/l1-vs-l2-loss/

L1-loss

L2-loss

L1 loss感觉和L1范式差不多,L2 loss相较于L2范式没有开根号,或者说L2 loss就是两个值相减开平方

关注博主即可阅读全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_34281477

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

【AI面试】回归损失横评：L1 loss、L2 loss和Smooth L1 Loss，L1正则化和L2正则化、IOU loss系列

钱多多先森

05-03

2412

损失函数是深度学习模型优化的一个灵魂基础，所以无论是很新的transform模型，还是比较早期的AlexNet，都不可避免的要涉及到损失函数的设计和应用。所以，各种形形色色的损失函数（Loss）也就成了面试场上，不经意间就会被牵扯到的问题。其中，目标检测任务的损失函数由Classificition Loss和Bounding Box Regeression Loss两部分构成。本次我们着重关注BoundingBox Loss 目标检测回归损失，之后有时间我们关注分类等损失函数。 1. L1 loss、

一文理清L1 loss、L2 loss、smooth L1 loss原理与区别

风中一匹狼的博客

08-29

1万+

L1 loss L2 loss smooth L1 loss

参与评论您还未登录，请先登录后发表或查看评论

损失函数L1Loss、L2loss区别

weixin_51293984的博客

04-07

863

平均绝对误差（Mean Absolute Error，MAE）预测值和真实值之差的绝对值。

L1损失（MAE）、L2损失（MSE）

热门推荐

Drug discovery

06-05

3万+

目录均绝对误差(L1Loss) 均方误差MSE (L2 Loss) MSE和MAE的选择总结均绝对误差(L1Loss) 均绝对误差（Mean Absolute Error,MAE) 是指模型预测值f(x)和真实值y之间距离的均值，其公式如下：忽略下标i，设n=1，以f(x)−y为横轴，MAE的值为纵轴，得到函数的图形如下： MAE曲线连续，但是在y−f(x)=0处不可导。而且 MAE 大部分情况下梯度都是相等的，这意味着即使对于小的损失值，其梯度也是大的。这不利于函数的收敛...

L1 loss 是什么

a_145133的博客

04-24

5999

与L2 Loss（也称为Mean Squared Error）相比，L1 Loss更加鲁棒，对于异常值（outliers）的容忍性更高。因此，在某些需要考虑异常值的任务中，例如目标检测、人脸识别等领域，L1 Loss被广泛应用。L1 Loss（也称为Mean Absolute Error）是深度学习中常用的一种损失函数，用于衡量模型预测结果与真实标签之间的平均绝对误差。表示模型对于样本i的预测标签。将每个样本的绝对误差取平均值，得到L1 Loss。表示样本i的真实标签（ground truth），

详解torch SmoothL1Loss

牛肉胡辣汤

01-23

2656

在深度学习中，损失函数是评估模型性能的重要指标之一。SmoothL1Loss是一个常用的损失函数之一，在目标回归问题中，它可以在一定程度上平衡L1 Loss和L2 Loss。SmoothL1Loss是一种平滑的损失函数，它对于目标和预测之间的差异进行鲁棒的度量。SmoothL1Loss(x, y) = 0.5 * (x - y)^2, 如果|x - y| < 1= |x - y| - 0.5, 其他情况其中，x是预测值，y是目标值。

L1 loss VS L2 loss； L1 regularization VS L2 regularization

Huiyu Blog

11-22

919

L1 和L2 既可以作为 loss function 也可以作为 reguarization L1 loss VS L2 loss 公式比较鲁棒性：L1 更鲁棒，因为L2 的误差会平方增长。当存在离群点（outliers)的时候，这些点会占loss的主要组成部分, 使用梯度下降法求解的时候梯度很大，可能导致梯度爆炸.。稳定性（数据集的一个小的移动）：L2 是比L1 具有更好的性质。收敛...

机器学习中的 L1,L2 loss分别是什么

大西瓜不甜的博客

04-21

4932

一、常见的MSE、MAE损失函数 1.1 均方误差、平方损失均方误差（MSE）是回归损失函数中最常用的误差，它是预测值与目标值之间差值的平方和，其公式如下所示：下图是均方根误差值的曲线分布，其中最小值为预测值为目标值的位置。优点：各点都连续光滑，方便求导，具有较为稳定的解缺点：不是特别的稳健，为什么？因为当函数的输入值距离中心值较远的时候，使用梯度下降法求解的时候梯度很大，可能...

回归问题常用损失函数L1Loss、L2Loss、SmoothL1Loss

weixin_44104200的博客

04-16

2815

L1范数误差(L1 loss) 代表：MAE(Mean Absolute Error, 均绝对误差)。即估计值f(x)f(x)f(x)与真实值yyy之间距离的均值。 MAE=1n∑i=1n∣f(xi)−yi∣MAE=\frac{1}{n}\sum_{i=1}^n|f(x_i)-y_i|MAE=n1i=1∑n∣f(xi)−yi∣ 优点无论对于什么样的输入值，都有着稳定的梯度，不会导致梯度爆炸问题，具有较为稳健性的解。对于离群点不那么敏感。因为MAEMAEMAE计算的是误差y−f(x)y−f(x)

深度学习(23):SmoothL1Loss损失函数

biter0088的博客

05-01

6339

SmoothL1Loss损失函数

【损失函数】深度学习回归任务中你必须了解的三种损失函数，绝对误差损失（L1 Loss、MAE）均方误差损失（L2 Loss、MSE）以及平滑L1损失（Huber Loss）（2024最新整理）

Next_SummerAgain的博客

01-04

1万+

是预测值和真实值之差的绝对值的总和。其中，是样本数量，是第个样本的真实值，是第个样本的预测值。

深度学习——常见损失函数Loss：L1 ，L2 ，MSE ，Binary Cross ，Categorical Cross ，Charbonnier ，Weighted TV ，PSNR

qq_40280673的博客

11-08

3万+

在深度学习中，损失函数是一个核心组件，它度量模型的预测结果与真实值之间的差异。通过最小化损失函数的值，模型能够在训练过程中逐渐改善其性能。损失函数为神经网络提供了一个明确的优化目标，是连接数据和模型性能的重要桥梁。

损失函数之-----L1 loss和L2 loss和smooth L1 loss -----用于回归任务

ZJE

09-08

1万+

1. L1 loss：公式和求导公式：（带绝对值求导时，先去掉绝对值符号，再分情况求导）一个batch的形式： L1 loss 图形和求导图形如下：图的底部是预测值和label的差值。我们可以看到L1 loss的底部是尖的。底部是不存在导数的。而在其他地方，导数大小都是一样的。优缺点：优点： 1. L1 loss的鲁棒性(抗干扰性)比L2 loss...

目标检测中回归损失函数（L1Loss,L2Loss,Smooth L1Loss,IOU,GIOU,DIOU,CIOU,EIOU,αIOU ,SIOU)

zyw2002的博客

03-04

6192

为了解决CIoU的问题，有学者在CIOU的基础上将纵横比拆开，提出了EIOU Loss，并且加入Focal聚焦优质的预测框，与CIoU相似的，EIoU是损失函数的解决方案，只用于训练。在错误率小的地方，梯度的值也应当小，反之在错误率大的地方，梯度也应当大，因为这时候我们需要对错误率小的情况进行微调，而错误率大的地方进行大刀阔斧的调整；如下图所示，三种情况IoU都相等，但看得出来他们的重合度是不一样的，左边的图回归的效果最好，右边的最差。DIoU的作者考虑到，在两个框中心点重合时，c与d的值都不变。

【深度学习】L1损失、L2损失、L1正则化、L2正则化

最新发布

码农努力学习

01-18

2498

稀疏性：很多参数值为0LLWλ∑i1p∣wi∣∂L∂wi∂LW∂wiλ⋅signwiwiwi−lr∗∂L∂wj−lr∗λsignwiLLWλi1∑p∣wi∣∂wi∂L∂wi∂LWλ⋅signwiwiwi−lr∗∂wj∂L−lr∗λsignwi∂LW∂w。

回归损失函数: L1 Loss

小花生的博客

05-07

2万+

平均绝对误差，L1损失平均绝对误差（MAE）是另一种用于回归模型的损失函数。MAE是目标变量和预测变量之间绝对差值之和。因此它衡量的是一组预测值中的平均误差大小，而不考虑它们的方向（如果我们考虑方向的话，那就是均值误差（MBE）了，即误差之和）。范围为0到∞。摘录：https://zhuanlan.zhihu.com/p/39239829 注：博众家之所长，集群英之荟萃。 ...

pytorch之SmoothL1Loss原理与用法

qq_43391414的博客

12-06

1万+

文章目录官方说明：解读图像用法官方说明：解读我们直接看那个loss计算公式lnl_nln,可以发现，是一个分段函数，我们将绝对值差视为一个变量zzz，那么这个变量是大于0的，即分段函数只在大于等于0处有定义，有图像。我们再来看看分段点，就是beta。有意思的是，在分段函数和这个分段点有关，在第一个公式（左边分段函数）中，函数值小于等于0.5z0.5z0.5z，因为除了beta。右边分段函数中，大于等于0.5z0.5z0.5z。所以是连续的，所以叫做Smooth。而且beta固定下来的时候，当z

机器学习的L1、L2损失函数

走出那座山

05-09

4901

** 问题一：损失函数是什么？ ** 损失函数就一个具体的样本而言，模型预测的值与真实值之间的差距。哦哦，这句话怎么理解呢，就是我们使用自己的算法模型，然后就是自己的模型产生了一个自己进行判断出来的y(猜)，然后我们放入模型进行训练的值就有一个y（真正），如何衡量我们模型产生的一个预测值和原本的值之间的差距呢，就是使用这个损失函数进行一个配对，让我们可以直观地看到机器学习的效果。还有一种说法是：对于一个样本（xi,yi）其中yi为真实值，而f（xi）为我们的预测值。使用损失函数L（f(xi),yi

l1loss和l2loss是什么

01-15

### 定义 #### L1 Loss (绝对误差损失) L1 Loss 表示预测值与实际值之间差异的绝对值总和。对于单个样本而言，其计算方式如下： \[ \text{L1 Loss} = |y_{\text{pred}} - y_{\text{true}}| \] 其中 \( y_{\text{pred}} \) 是模型给出的预测结果，\( y_{\text{true}} \) 则代表真实的标签值。在多维情况下，则是对所有维度上的差取绝对值得到向量后再求和[^1]。 ```python import torch.nn as nn criterion_l1 = nn.L1Loss() output = criterion_l1(torch.tensor([0.8]), torch.tensor([1.0])) print(output.item()) ``` #### L2 Loss (均方误差损失) L2 Loss 计算的是预测值与目标值之间的平方差平均数，在数学上也被称为欧几里得距离或欧式距离。具体表达式为: \[ \text{L2 Loss} = (y_{\text{pred}} - y_{\text{true}})^2 \] 同样地，在处理多个特征时会先逐元素相减并平方之后再累加起来除以样本数量得到最终的结果[^2]。 ```python import torch.nn.functional as F def mse_loss(input, target): return F.mse_loss(input, target) output = mse_loss(torch.tensor(0.9), torch.tensor(1.0)) print(output.item()) ``` ### 区别 - **对离群点敏感程度不同**: L2 Loss 对于较大的残差更加敏感，因为它是基于二次幂运算；而 L1 Loss 只考虑绝对偏差大小，因此相对更稳健一些，不易受到极端数据的影响[^3]。 - **导数特性有异**: 当接近最优解附近时，由于 L2 Loss 函数曲线较为平坦，所以能够提供较小但持续存在的梯度来帮助优化过程收敛；相反，L1 Loss 在零处不可微分，这可能导致某些算法难以有效工作。