『PyTorch』损失函数

最新推荐文章于 2024-09-07 17:54:23 发布
原创 最新推荐文章于 2024-09-07 17:54:23 发布 · 1.6k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-NC-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #机器学习 #神经网络 #pytorch

本文详细介绍了PyTorch中的各种损失函数，包括交叉熵损失、二分类交叉熵、绝对误差、平方误差等，解释了它们的功能、主要参数及应用场景，是深度学习模型训练不可或缺的指南。

文章目录

1. 什么是损失函数

衡量模型输出与真实标签的差异

  • 损失函数：计算一个样本的差异
    L o s s = f ( y ^ − y ) Loss=f(\hat{y}-y) Loss=f(y^​−y)

  • 代价函数：计算整个样本的损失函数的平均值
    C o s t = 1 n ∑ i = 1 n f ( y ^ − y ) Cost=\frac{1}{n}\sum_{i=1}^n f(\hat{y}-y) Cost=n1​i=1∑n​f(y^​−y)

  • 目标函数
    O b j = C o s t + R e g u l a r i z a t i o n Obj=Cost+Regularization Obj=Cost+Regularization

size_average 和 reduce后期版本将被舍弃，不要再用了

2. PyTorch中的损失函数

2.1 nn.CrossEntropyLoss

  • 功能：nn.LogSoftmax()与nn.NLLLoss()结合，进行交叉熵计算

    nn.CrossEntropyLoss(weight=None, size_average=None, 
                    ignore_index=-100, reduce=None,reduction='mean')

  • 主要参数：

    • weight：各类别的loss设置权值
      对于分类问题，每个分类都有一个loss函数值，此参数就是每个分类的权重
    • ignore_index：忽略某个类别，不参与计算loss函数值
    • reduction：计算模式，可为none、sum、mean
      • none：逐个元素计算，返回长度为类别数
      • sum：所有元素求和返回标量，一个值的Tensor
      • mean：加权平均返回标量，一个值的Tensor

2.2 nn.NLLLoss

  • 功能：实现负对数似然函数中的负号功能

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xQ7tK99T-1582603752282)(损失函数/nll_loss.png)]

  • 主要参数：
    • weight：各类别的loss设置权值
      对于分类问题，每个分类都有一个loss函数值，此参数就是每个分类的权重
    • ignore_index：忽略某个类别，不参与计算loss函数值
    • reduction：计算模式，可为none、sum、mean
      • none：逐个元素计算，返回长度为类别数
      • sum：所有元素求和返回标量，一个值的Tensor
      • mean：加权平均返回标量，一个值的Tensor

2.3 nn.BCELoss

  • 功能：二分类交叉熵

    注意，输入值取值在 [ 0 , 1 ] [0,1] [0,1]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-g3YJ5vDw-1582603752291)(损失函数/bce_loss.png)]

  • 主要参数：
    • weight：各类别的loss设置权值
      对于分类问题，每个分类都有一个loss函数值，此参数就是每个分类的权重
    • ignore_index：忽略某个类别，不参与计算loss函数值
    • reduction：计算模式，可为none、sum、mean
      • none：逐个元素计算，返回长度为类别数
      • sum：所有元素求和返回标量，一个值的Tensor
      • mean：加权平均返回标量，一个值的Tensor

2.4 nn.BCEWithLogitsLoss

  • 功能：结合Sigmoid与二分类交叉熵

    注意，网络最后不需要加sigmoid激活函数了

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FpnXx9kY-1582603752297)(损失函数/bce_sigmoid__loss.png)]

  • 主要参数：
    • pos_weight：正样本的权值
    • weight：各类别的loss设置权值
      对于分类问题，每个分类都有一个loss函数值，此参数就是每个分类的权重
    • ignore_index：忽略某个类别，不参与计算loss函数值
    • reduction：计算模式，可为none、sum、mean
      • none：逐个元素计算，返回长度为类别数
      • sum：所有元素求和返回标量，一个值的Tensor
      • mean：加权平均返回标量，一个值的Tensor

2.5 nn.L1Loss

  • 功能：计算inputs与target之差的绝对值( l 1 l_1 l1​范数误差)

    nn.L1Loss(size_average=None, reduce=None, reduction='mean')

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-cwGxANwN-1582603752299)(损失函数/l1_loss.png)]

2.6 nn.MSELoss

  • 功能：计算inputs和target之差的平方( l 2 l_2 l2​范数误差，或者 m 2 m_2 m2​范数误差)
nn.MSELoss(size_average=None, reduce=None, reduction='mean')

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1lb3zkYR-1582603752300)(损失函数/MSE_loss.png)]

2.7 nn.SmoothL1Loss

  • 功能：平滑的 l 1 l_1 l1​ loss

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1HJHAXEr-1582603752305)(损失函数/smooth_l1_loss.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Bx7KI4dn-1582603752309)(损失函数/l1_loss_figure.png)]

2.8 nn.PoissonNLLLoss

  • 功能：破松分布的负对数似然函数

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tcgn3YlX-1582603752313)(损失函数/poisson_nll_loss.png)]

  • 主要参数：
    • log_input：输入是否为对数形式，决定计算公式
    • full：计算所有loss，默认False
    • eps：修正项，避免 log ⁡ ( i n p u t ) \log(input) log(input) 为 N a N NaN NaN

2.9 nn.KLDivLoss

  • 功能：计算KL散度，相对熵

2.10 nn.MarginRankingLoss

  • 功能：计算两个向量之间的相似度，用于排序任务

2.11 nn.MultiLabelMarginLoss

  • 功能：多标签边界损失函数

2.12 nn.SoftMarginLoss

  • 功能：计算二分类的Logistic损失

2.13 nn.MultiLabelSoftMarginLoss

  • 功能：SoftMarginLoss的多标签版本

2.14 nn.MultiMarginLoss

  • 功能：计算多分类的折页损失

2.15 nn.TripletMarginLoss

  • 功能：计算三元组损失，人脸验证中常用

2.16 nn.HingeEmbeddingLoss

  • 功能：计算两个输入的相似性，常用于迁移学习和半监督学习

2.17 nn.CosineEmbedingLoss

  • 功能：采用余弦相似度计算两个输入的相似性

2.18 nn.CTCLoss

  • 功能：计算CTC损失，解决时序类数据的分类损失，人脸验证中常用

2.16 nn.HingeEmbeddingLoss

  • 功能：计算两个输入的相似性，常用于迁移学习和半监督学习

2.17 nn.CosineEmbedingLoss

  • 功能：采用余弦相似度计算两个输入的相似性

2.18 nn.CTCLoss

  • 功能：计算CTC损失，解决时序类数据的分类
PyTorch损失函数
学习记录
01-13 1341
损失函数：衡量模型输出与真实标签的差异这段代码定义了一个Loss函数的基类_Loss，用于定义其他具体的损失函数。在初始化方法__init__reduce和reduction。和reduce用于确定是否对损失值进行平均和降维操作，reduction则用于指定损失值的降维方式，默认为均值'mean'。基类_Loss的作用是提供了一些通用的属性和方法，其他具体的损失函数可以继承该基类，并根据自己的需求重写或添加特定的属性和方法。
CTC损失：序列学习的关键技术
最新发布
qq_34941290的博客
10-09 688
CTC（Connectionist Temporal Classification，连接时序分类）损失是一种专门为序列学习任务设计的损失函数，由Alex Graves等人在2006年提出。它主要解决了以下核心问题：传统方法需要精确的帧级对齐标注，而CTC损失通过巧妙的算法设计，只需要输入序列和对应的输出序列即可进行训练，无需对齐信息。
pytorch-center-loss：Pytorch实现中心损失
02-05
火炬中心损失 Pytorch实现中心损失的方法： （ ）也使用此损失函数。 开始吧 克隆此仓库并运行代码 $ git clone https://github.com/KaiyangZhou/pytorch-center-loss $ cd pytorch-center-loss $ python main.py --eval-freq 1 --gpu 0 --save-dir log/ --plot 您将在终端中看到以下信息 Currently using GPU: 0 Creating dataset: mnist Creating model: cnn == > Epoch
pytorch损失函数详解
qq_37844044的博客
09-14 470
目录 nn.L1loss nn.CrossEntropyLoss nn.MSELoss nn.BCELoss nn.L1loss: 两者绝对值作差，然后求和平均loss(x,y)=1/n∑ \sum∑ |x_i-y_i| crite = torch.nn.L1Loss() loss = crite(output, target) nn.CrossEntropyLoss: 这是交叉熵损失函数，常用于分类函数。主要是判断实际输出与期望输出的接近程度。 熵： 是用来衡量混乱程度的表示，代表一个样本中信息量的
pytorch 损失函数
浩瀚之水的专栏
09-05 1886
计算出来的结果已经对mini-batch取了平均。一、损失函数列表创建一个衡量输入x模型预测输出)和目标y之间差的绝对值的平均值的标准。x和y可以是任意形状，每个包含n个元素。对n个元素对应的差值的绝对值求和，得出来的结果除以n。如果在创建L1Loss实例的时候在构造函数中传入，那么求出来的绝对值的和将不会除以n创建一个衡量输入x模型预测输出)和目标y之间均方误差标准。x和y可以是任意形状，每个包含n个元素。对n个元素对应的差值的绝对值求和，得出来的结果除以n。如果在创建MSELoss。
Pytorch：损失函数
qq_44817900的博客
08-18 2005
而我们对模型进行优化，也就是让loss最小优化损失函数，也就是优化这个交叉熵，而信息熵H§是常数，其实也就是优化相对熵。如上举例的四分类，y=[0，3，-1，-1]，就要用x[3]和x[0] (即模型输出x中的第0个与第3个神经元概率值)减去另外两项。常用于多分类任务，交叉熵损失对于一个样本，有N个神经元输出(N分类)这个样本的损失也只有一个值，即把所有神经元上的损失进行了相加。但对于下文的二分类交叉熵损失，对于一个样本，有2个神经元输出(2分类)，这个样本的损失也有2个，每个神经元都对应了一个损失。...
深度学习PyTorch损失函数全解析：从原理到实战的详细指南了深度学习中
04-15
内容概要：本文详细介绍了PyTorch框架中损失函数的原理及其在深度学习中的应用。损失函数是模型训练的核心，用于衡量预测值与真实值之间的差异，指导模型优化。文章首先阐述了损失函数的重要性，接着分类介绍了常见...
pytorch损失函数解析
lyy的博客
12-04 3085
目录nn.L1Loss:nn.NLLLoss:nn.CrossEntropyLossnn.MSELossnn.BCELoss: nn.L1Loss: 这个比较简单，没有太多好说的，就是两者做差取绝对值，然后求和取平均。 输入x和目标y之间差的绝对值，要求 x 和 y 的维度要一样（可以是向量或者矩阵），得到的 loss 维度也是对应一样的。 loss(x,y)=1/n∑\sum∑ |x_i-y_i| nn.NLLLoss: nn.NLLLoss是负的似然对数损失，但Pytorch的实现就是把对应tar
pytorch损失函数、反向传播、优化器【小土堆】
superiser的博客
02-07 1956
（链接可以直接跳转）
Pytorch损失函数篇
Warmer_Sweeter
10-07 1213
点击关注我哦一篇文章带你了解pytorch中常用的损失函数Q：什么是损失函数？训练神经网络类似于人类的学习方式。我们将数据提供给模型，它可以预测某些内容，并告诉其预测是否正确。然后，模型...
损失函数---------Pytorch
轻羽羽的博客
05-21 504
1、交叉熵损失：分类 # weight:各类别的loss设置权值 # ignore_index:忽略某个类别，不计算其loss # reduction:计算方式(mean/none/sum) ''' mean:加权平均，返回标量(所有loss求平均) none:逐个元素计算(计算每个样本loss) sum:所有元素求和，返回标量(所有loss求和) ''' nn.CrossEntropyLoss(weight=None,ignore_.
Pytorch 的损失函数Loss function使用详解
09-18
今天小编就为大家分享一篇Pytorch 的损失函数Loss function使用详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
(三)pytorch中损失函数
qq_23123181的博客
04-11 6038
损失函数可以分为三类：回归损失函数、分类损失函数和排序损失函数 1、L1 loss 计算实际值和预测值之间的绝对值之和的平均值。 y表示标签，pred表示预测值。（回归问题），当目标变量的分布具有异常值时，即与平均值相差很大的值，它被认为对异常值具有很好的鲁棒性。 import torch def lossTest(): input=torch.randn(3,5,requires_grad=True) target=torch.randn(3,5) mae_loss=
PyTorch基础（五）-- 损失函数
CarpeDiem
06-14 6675
这里将列出PyTorch中常用的损失函数（一般通过torch.nn调用），并详细介绍每个损失函数的功能介绍、数学公式和调用代码。当然，PyTorch的损失函数还远不止这些，在解决实际问题的过程中需要进一步探索、借鉴现有工作，或者设计自己的损失函数。...
Pytorch教程[07]损失函数
YOLOv8项目贡献者
03-12 3589
一.损失函数概念 损失函数（loss function）：衡量模型输出与真实标签的差异 也叫代价函数（cost function）/准则（criterion）/目标函数（objective function）/误差函数（error function） 名字有很多，其实都是一个东西 二.Pytorch内置损失函数 1、nn.CrossEntropyLoss 功能： nn.LogSoftmax ()与nn.NLLLoss ()结合，进行 交叉熵计算 主要参数： • weight：各类别的loss设置权值 • i
Pytorch基础（九）——损失函数
baidu_35536188的博客
12-19 2597
一、概念 损失函数在深度学习领域是用来计算搭建模型预测的输出值和真实值之间的误差。 具体实现过程：在一个批次（batch）前向传播完成后，得到预测值，然后损失函数计算出预测值和真实值之间的差值，反向传播去更新权值和偏置等参数，以降低差值，不断向真实值接近，最终得到效果良好的模型。 常见的损失函数包括：MSE（均方差, 也可以叫L2Loss），Cross Entropy Loss（交叉熵），L1 Loss（L1平均绝对值误差），Smooth L1 Loss(平滑的L1 loss)，BCELoss (Binar
pytorch常用损失函数
浩瀚之水的专栏
09-07 2847
L1Loss的公式可以表示为：其中，n 是样本数量，yi​ 是第 i 个样本的真实值，y^​i​ 是第 i 个样本的预测值，∣yi​−y^​i​∣ 是预测值与真实值之间差值的绝对值。MSELoss的数学表达式为：其中，n 是样本数量，yi​ 是第 i 个样本的真实值，y^​i​ 是第 i 个样本的预测值。公式中的求和操作（∑）表示对所有样本的损失进行累加，然后除以样本数量 n 以求得平均损失。SmoothL1Loss的公式可以表示为：其中，x 是预测值与真实值之间的差值。
pytorch常见损失函数
m0_61899108的博客
07-01 2447
转载于：回归损失函数 - 知乎 (zhihu.com)PyTorch 中的损失函数总结 | 梦家博客 (dreamhomes.top) 在Faster RCNN和SSD中使用了smooth L1 损失函数。 4、NLLLoss 5、CrossEntropyLoss 6、BCELoss 一个样本多标签分类 二分类问题 7、BCEWithLogitsLoss 8、Focal Loss 9、GHM Loss 代码实现 map
简单粗暴PyTorch之18个损失函数
qq_36642243的博客
08-18 3221
损失函数一、损失函数概念二、交叉熵损失函数三、NLL/BCE/BCEWithLogits Loss3四、其他损失函数 一、损失函数概念 损失函数：衡量模型输出与真实标签的差异 损失函数(Loss Function)： ???????????????? = ????(????^, ????) 代价函数(Cost Function)： 目标函数(Objective Function)： ???????????? = ???????????????? + Regularization 二、交叉熵损失函数 三、NL
Pytorch 损失函数
02-07
### PyTorch 损失函数概述 在机器学习领域，尤其是深度学习框架如PyTorch中，损失函数扮演着至关重要的角色。这些函数用于评估模型预测值与实际目标之间的差异程度，并指导优化过程以最小化这种差距。 #### 常见的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值