【pytorch】CrossEntropyLoss计算过程

最新推荐文章于 2024-12-11 10:04:06 发布
最新推荐文章于 2024-12-11 10:04:06 发布
阅读量705 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 深度学习 transformer pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/nutation1/article/details/124741699
博客介绍了Pytorch中CrossEntropyLoss()的计算过程。prob是形状为[batch_size, category_num]的tensor，target是形状为[batch_size,]的tensor。其计算先对prob每行做softmax()，再对矩阵元素求log()，最后进行NLLLoss()，挑出对应概率取负值求平均。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

import torch.nn as nn

torch.log(F.softmax(prob)) <=> nn.LogSoftmax()(prob)

nn.CrossEntropyLoss()(prob,target) <=> nn.NLLLoss()(nn.LogSoftmax()(prob) , target)

CrossEntropyLoss(p,q) =\sum p_{1}log(q_{1}) + p_{2}log(q_{2}) + p_{3}log(q_{3}) +... 

prob为形状为[batch_size , category_num]的tensor

target为形状为[batch_size,]的tensor

CrossEntropyLoss()的计算过程为 先对prob的每一行做softmax()，再对矩阵的所有元素求log()，再进行NLLLoss()，即挑出每行对应的target中元素位置的概率，取负值再求平均。

参考：

Pytorch常用的交叉熵损失函数CrossEntropyLoss()详解 - 知乎

nutation1
关注
PyTorch中的交叉熵函数 CrossEntropyLoss的计算过程
人工智能
04-29 1477
关于CrossEntropyLoss() 函数的计算过程可以拆解为如下四个步骤：1、对输出的结果进行操作,因为操作可以将所有输入值都归为[0,1]之间，且所有值之和为1，符合概率分布的特性。2、对结果进行log运算，求出都是小于0的值3、对真实概率值进行编码4、利用下面的公式求出最终的loss值CrossEntropyLossx−i1∑n​OneHottargeti​∗logsoftmaxinputi​。
pytorch中CrossEntropyLoss中weight的问题
alone_Messi的博客
05-21 5162
pytorch中CrossEntropyLoss中weight的问题 由于研究的需要，最近在做一个分类器，但类别数量相差很大。 在查看nn.CrossEntropyLoss()的官方文档时看到这么一句 感觉有救了，遂想应用到我自己的网络中，但是weight是自己初始化的。怎么初始化又有问题了。在看focal loss的时候有点印象，样本多的类别权重应该小，但是有没有一个公式啊？ 在中文互联网是找了很久，没有太多的帖子，相关问题的帖子文章很少，于是就去谷歌了。 在以下两篇帖子找到了答案。 先放链接 http
pytorch CrossEntropyLoss()计算
cyj5201314的博客
11-16 1353
import torch from torch.nn import CrossEntropyLoss criterion = CrossEntropyLoss() output = torch.tensor([[0.2, 0.8]]) target = torch.tensor([1]) loss = criterion(output, target) print(loss) y = torch.exp(torch.tensor(0.8)) / ((torch.exp(torch.tensor(0.8))
交叉熵损失（Cross Entropy Loss）计算过程
studyvcmfc的专栏
10-21 1007
交叉熵损失（Cross Entropy Loss）计算过程_藏知阁-优快云博客_交叉熵计算公式
交叉熵损失函数
qq_31244453的博客
01-07 2万+
目录 1交叉熵损失函数（Cross Entropy loss）： 1.1交叉熵损失函数公式： 1.2交叉熵损失函数推导过程： 1.3 交叉熵损失函数的特殊值 1交叉熵损失函数（Cross Entropy loss）： 1.1交叉熵损失函数公式： y是真实的标签值(正类值为1，负类值为0)，y`是预测的概率值（y·∈(0,1)）.它表征真实样本标签和预测概率之间的差值. 1.2交叉熵损失函数推导过程： 举个二分类例子，要么有打球，要么没有打球.假设打球的标签值为1，没打球的标签.
关于pytorch中的CrossEntropyLoss（）的理解
热门推荐
橘露源的博客
11-27 3万+
分类问题中，交叉熵函数是比较常用也是比较基础的损失函数。 基本推导过程 提到交叉熵，脑子里就会出现这个公式： L=−[y∗logy^+(1−y)∗log(1−y^)]L=-[y*log\hat{y}+(1-y)*log(1-\hat{y})]L=−[y∗logy^​+(1−y)∗log(1−y^​)] 然后，脑子里还会浮现出sigmoid这个函数： g(s)=11+e−sg(s)=\frac{1}...
PyTorch学习（7）：常用损失函数（CrossEntropyLoss, BCELoss, BCEWithLogitsLoss, L1Loss, MSELoss）
tecsai的博客
04-19 2952
在深度学习训练过程中，损失计算是非常重要的一环。有一种论调叫做“损失函数的设计在一定程度上决定了模型能干什么”。 PyTorch提供了许多损失计算函数，包括torch.nn.L1Loss，torch.MSELoss，torch.nn.CrossEntropyLoss，torch.nn.BCELoss，torch.nn.BCEWithLogitsLoss等。 具体可以参考如下连接：torch.nn — PyTorch 2.2 documentation
PyTorch 中的交叉熵函数 CrossEntropyLoss 的计算过程
随风秀舞（diyoosjtu）
04-09 1万+
CrossEntropyLoss() 函数联合调用了 nn.LogSoftmax() 和 nn.NLLLoss()。 假设网络得到的输出为 hhh，它的维度大小为 B×CB\times CB×C，其中 BBB 是 batch_size，CCC 是分类的总数目。与之对应的训练数据的标签 yyy 维度是 1×B1\times B1×B，yyy 中元素的取值范围是 [0,C−1][0, C-1][0,C...
交叉熵函数Cross_EntropyLoss()的详细计算过程
qq_39333636的博客
05-25 2270
交叉熵的详细计算过程
交叉熵损失（Cross Entropy Loss）学习笔记
zly_Always_be的博客
12-22 6330
交叉熵损失（Cross Entropy Loss）学习笔记
交叉熵损失函数（Cross-Entropy Loss）
最新发布
qq_39437730的博客
12-11 2万+
交叉熵损失函数是深度学习中分类问题常用的损失函数，特别适用于多分类问题。它通过度量预测分布与真实分布之间的差异，来衡量模型输出的准确性。中，softmax 和交叉熵是结合在一起实现的，因此你不需要手动调用 softmax。用于度量预测分布与真实分布之间的差异，是分类问题中的核心工具。结合 softmax，用来计算预测分布与真实分布之间的差异。结合了 softmax 和交叉熵计算，使用简单且高效。模型通常输出logits（未归一化的分数），例如。4、示例：在神经网络中的应用。在 PyTorch 的。
pytorch 交叉熵损失函数计算过程
flying_ant2018的博客
11-10 423
CrossEntropyLoss
PyTorch 工作流程
AbnerAI的博客
02-21 845
通过优化器更新参数， 数值的高意味着优化器将尝试更大的更新（这些有时可能太大，优化器将无法工作），数值设置的低意味着优化器将尝试更小的更新（这些有时可能太小，优化器将花费太长时间才能找到理想值）。更直观，但是这种方法（保存整个模型）的缺点是序列化数据绑定到特定类以及保存模型时需使用确切目录结构，因此，你的代码在其他项目中使用时或在重构后可能会以各种方式中断。机器学习和深度学习的本质是从过去获取一些数据，构建算法（如神经网络）来发现其中的模式，并使用发现的模式来预测未来。（例如上面的线性回归公式）。
Pytorch中的CrossEntropy
KK的博客
04-06 2761
Pytorch中的CrossEntropy表达式如何计算得到输出 Pytorch中的CrossEntropy 表达式 (1) 二分类 在二分的情况下，模型最后需要预测的结果只有两种情况，对于每个类别我们的预测得到的概率为 p 和1-p 。此时表达式为： 其中： yi —— 表示样本i的label，正类为1，负类为0 pi —— 表示样本i预测为正的概率 (2) 多分类 多分类的情况实际上就是...
Pytorch F.cross_entropy详解
Decennie的博客
07-31 1589
pytorch F.cross_entropy详解
交叉熵损失函数 CrossEntropyLoss
m0_56247038的博客
10-09 1232
一文搞懂CrossEntropyLoss（一维和高维）
nn.CrossEntropyLoss()的具体计算过程
信小海
07-26 3572
nn.CrossEntropyLoss()函数的具体计算过程展示。
Pytorch里的CrossEntropyLoss详解
Leora的博客
09-17 4291
首先要知道上面提到的这些函数一部分是来自于torch.nn,而另一部分则来自于torch.nn.functional(常缩写为F）。二者函数的区别可参见知乎:torch.nn和funtional函数区别是什么？ 下面是对与cross entropy有关的函数做的总结： torch.nn torch.nn.functional (F) CrossEntropyLoss cross_entropy LogSoftmax log_softmax NLLLoss nll_l.
pytorch CrossEntropyLoss()
09-07
PyTorch的`CrossEntropyLoss()`是一个用于计算交叉熵损失的函数。在深度学习中，交叉熵常用于多分类问题的损失计算。 该函数的调用方式为：`criterion = nn.CrossEntropyLoss()` 在使用`CrossEntropyLoss()`函数时，通常需要将模型的输出与目标标签传递给该函数，它会自动计算损失并返回一个标量值。例如： ```python outputs = model(inputs) # 模型的输出 loss = criterion(outputs, labels) # 计算损失 ``` 其中，`outputs`是模型的预测输出，`labels`是真实的目标标签。 需要注意的是，`CrossEntropyLoss()`函数在内部进行了softmax操作，因此模型的输出不需要经过softmax层。 该损失函数可以在训练过程中用于优化模型，通过反向传播更新模型的参数。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值