pytorch 负对数似然损失和交叉熵损失

最新推荐文章于 2024-08-30 20:05:55 发布
最新推荐文章于 2024-08-30 20:05:55 发布
阅读量728 收藏 2
点赞数 1
分类专栏： pytorch 文章标签： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_44768052/article/details/125036383
版权

一.负对数似然

 

似然是已知数据，推参数，我们通过极小化负对数似然（最大似然），来求最佳的模型参数

二.交叉熵损失

而在训练过程中，标签通常采用one-hot编码表示，而样本真实分布的概率P(x_{i}) = 1,这样交叉熵的表示形式其实是跟负对数似然一样的

三.pytorch实现的区别

1.在使用nn.NLLLoss()是，需要结合nn.LogSoftmax()一起使用，而nn.CrossEntropyLoss()不需要。
2.使用nn.CrossEntropyLoss()时，网络的最后一层不需要加softmax层。
3.使用nn.NLLLoss()是，标签不能使用one-hot编码标签，在使用nn.CrossEntropyLoss()时，可以使用one-hot标签，也可以不使用one-hot标签。
 

DL之LF：损失函数简介——交叉熵损失和负对数似然损失的联系与区别、二分类(二元交叉熵+Sigmoid函数)、多分类(多元交叉熵+Softmax函数)
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
12-16 894
​ DL之LF：损失函数简介——交叉熵损失和负对数似然损失的联系与区别、二分类(二元交叉熵+Sigmoid函数)、多分类(多元交叉熵+Softmax函数) 目录 对比：交叉熵损失(分类问题的损失函数，常用于分类问题+DL)、负对数似然损失(衡量分布之间差异，常用于概率模型+LLM) 对比：交叉熵损失(分类问题的损失函数，常用于分类问题+DL)、负对数似然损失(衡量分布之间差异，常用于概率模型+LLM) CELoss简介 交叉熵损失（Cross-Entropy Loss，CELoss）是信息论中的一
极大似然估计（Maximum Likelihood Estimattion Theory）是什么？极大似然估计的本质思想是什么？为什么极大似然可以作为损失函数使用？负对数似然损失函数（Negative
data+scenario+science+insight
04-20 821
极大似然估计（Maximum Likelihood Estimattion Theory）是什么？极大似然估计的本质思想是什么？为什么极大似然可以作为损失函数使用？负对数似然损失函数（Negative Log Likelihood）又是什么？交叉熵函数与最大似然函数的联系和区别？ 最大似然估计(maximum likelihood estimation, MLE)一种重要而普遍的求估计量的方法。最大似然法明确地使用概率模型，其目标是寻找能够以较高概率产生观察数据的系统发生树。最大似然法是一类完全基于统计的
15/4/2022交叉熵损失函数和负对数似然损失
weixin_44228389的博客
04-15 1714
看论文，论文中写模型最后用的损失函数是交叉熵函数，但代码却是torch.nn.functional.nll_loss 很是不理解，但后来看到一篇博客：[损失函数]——负对数似然 - 簡書 (jianshu.com) 该文章对负对数似然函数进行了解释，有公式有代码，然后大彻大悟。这里的负对数似然损失就是交叉熵函数。 负对数似然公式：[损失函数]——负对数似然 - 簡書 (jianshu.com) 交叉熵公式：(4条消息) 交叉熵损失函数原理详解_Cigar丶的博客-优快云博客_交叉熵损失函数 .
损失函数-负对数似然和交叉熵(Pytorch中的应用)
tcn760的博客
04-01 1万+
文章目录1、负对数似然损失函数1.1、似然1.2、似然函数1.3、极大似然估计1.4、对数似然1.5、负对数似然1.6、pytorch中的应用2、交叉熵损失函数2.1、信息量2.2、信息熵2.3、相对熵(KL散度)2.4、交叉熵2.5、pytorch中的应用3、使用总结 1、负对数似然损失函数 1.1、似然 在解释负对数似然之前，首先要了解什么是似然。似然(likelihood)和概率(probability)有着一定的区别和联系。似然和概率是针对不同内容的估计和近似。概率表达了给定参数θ\thetaθ下样
深入理解Pytorch负对数似然函数（torch.nn.NLLLoss)和交叉熵损失函数（torch.nn.CrossEntropyLoss)
zhuguiqin1的专栏
09-22 4302
参考资料： 极大似然估计 —— Maximum Likelihood Estimation Negative log likelihood explained 深度理解机器学习中常见损失函数 交叉熵、相对熵和负对数似然的理解
负对数似然(NLL) Loss 与 交叉熵(CE) Loss
曹逗号@INHA
06-29 964
负对数似然与交叉熵损失的区别和关系。
交叉熵损失函数分类_PyTorch学习笔记——多分类交叉熵损失函数
weixin_35129495的博客
01-30 3001
理解交叉熵关于样本集的两个概率分布p和q，设p为真实的分布，比如[1, 0, 0]表示当前样本属于第一类，q为拟合的分布，比如[0.7, 0.2, 0.1]。按照真实分布p来衡量识别一个样本所需的编码长度的期望，即平均编码长度(信息熵)：如果使用拟合分布q来表示来自真实分布p的编码长度的期望，即平均编码长度(交叉熵)：直观上，用p来描述样本是最完美的，用q描述样本就不那么完美，根据吉布斯不等式， ...
交叉熵损失函数和负对数似然损失
09-01
交叉熵损失函数和负对数似然损失函数是在机器学习中常用的损失函数，用于衡量模型输出与真实标签之间的差异。 交叉熵损失函数是一种常用的分类问题损失函数。它通过计算模型输出的概率分布与真实标签的概率分布之间...
PyTorch的SoftMax交叉熵损失和梯度用法
09-18
在PyTorch中，我们可以利用`torch.nn.functional.softmax`或`torch.nn.LogSoftmax`来计算SoftMax，然后结合`torch.nn.functional.nll_loss`（负对数似然损失，它实际上是对多分类交叉熵损失的一种实现）来计算损失。...
pytorch交叉熵损失函数
最新发布
qq_27390023的博客
08-30 746
交叉熵损失函数广泛用于分类任务，特别是多分类问题。它比较的是模型输出的概率分布与真实标签的差异。交叉熵损失会惩罚错误分类，鼓励模型输出正确类别的高概率。实际上是同时完成了 softmax 函数和交叉熵损失的计算。它假设最后一层的输出没有经过归一化处理（不是概率形式），而是直接给出了各个类别的得分。该函数会自动计算每一样本对各类别的得分，应用softmax函数，然后计算交叉熵损失。
nn.NLLLoss()负对数似然损失函数和nn.CrossEntropyLoss()交叉熵损失函数在使用上的区别
hahaha_1112的博客
07-19 646
nn.NLLLoss()负对数似然损失函数和nn.CrossEntropyLoss()交叉熵损失函数在使用上的区别
从似然到交叉熵：极大似然、对数似然、负对数似然、Pytorch
qq_66736913的博客
03-28 886
此篇我们将从似然的定义出发，逐步推导出负对数似然，再与交叉熵对比。全篇说人话。同时会介绍pytorch的部分API。
Pytorch的四种函数讲解
shiguang521314的博客
05-16 980
在PyTorch中，Softmax和LogSoftmax函数是用于将多维张量的值转换为概率分布的函数。它们通常用于多分类问题中，将模型的输出转换为每个类别的概率。在PyTorch中，NLLLoss（负对数似然损失）和（交叉熵损失）是两种常用的损失函数，它们通常用于多分类问题。一、四种函数的概念LogSoftmax:LogSoftmax函数是Softmax函数的对数形式，它将输入的任意实数值映射到(0, 1)区间，并且输出的总和为1。
负对数似然 交叉熵 mse mae的区别
jzwei023的博客
04-11 1313
交叉熵的介绍见https://blog.youkuaiyun.com/jzwei023/article/details/115496906?spm=1001.2014.3001.5501 交叉熵 vs 二阶Loss函数 逻辑回归一些简单的网络中，我们会使用MSE（均方误差mean-square error）这样的二阶Loss函数。然而二阶loss函数，会存在一个问题。 ANN被设计的一个最大优势在于可以根据误差进行学习来调整参数。误差越大，则希望调整的幅度越大，从而收敛速度越快。而二阶loss函数则有可能误差越大
深入理解交叉熵损失函数
小草莓的魔法笔记
12-22 2421
前言 本文参照torch.nn.CrossEntropyLoss()说明文档1，从原理和实现细节上对交叉熵损失进行深入理解。 一、交叉熵 1.1 交叉熵的定义 假设X是离散型随机变量，p(x)、q(x)p(x)、q(x)p(x)、q(x)为X的两个概率分布，交叉熵的定义如下： H(q,p)=−∑xq(x)log p(x) H(q,p)=-\sum_xq(x)log\ p(x) H(q,p)=−x∑​q(x)log p(x) 交叉熵可以用来衡量两分布之间的相似程度。 交叉熵越小，p、qp、
如何理解交叉熵损失函数与最小对数似然函数的联系
yijie_01的博客
04-23 908
1.什么是信息量 2.什么是熵 3.什么是相对熵（KL散度） 4.什么是交叉熵（由KL散度推出） 5.用例子来理解交叉熵损失函数 使用交叉熵时，其预测结果必须是概率值，所以CrossEntropy函数才会内置softmax对结果进行概率化 ​ 1.最小化负对数似然是为了得到最可能满足当前预测结果分布的参数 2.交叉熵损失函数是为了最小化预测分布与真实分布的差距（从KL散度来理解） 3.对于单标签多分类问题，最小化负对数似然等价于交叉熵损失函数（公式推得） 这里我们只给出了单个样本的示例：
负对数似然（negative log-likelihood, NLL）
热门推荐
XIAOSHUCONG的博客
03-15 2万+
概率是指一个事件发生的可能性，描述的是对象是事件；似然是指影响事件发生概率的未知参数，描述的对象是参数。
使用PyTorch时，最常见的4个错误
m0_61899108的博客
02-11 1148
前言 本文转载于使用PyTorch时，最常见的4个错误 最常见的神经网络错误： 1)你没有首先尝试过拟合单个batch。 2)你忘了为网络设置train/eval模式。 3)在.backward()之前忘记了.zero_grad()(在pytorch中)。 4)将softmaxed输出传递给了期望原始logits的损失，还有其他吗？ 这篇文章将逐点分析这些错误是如何在PyTorch代码示例中体现出来的。 代码：https://github.com/missinglinkai/common-n
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值