理解crossentropy loss

最新推荐文章于 2025-03-21 21:55:33 发布
最新推荐文章于 2025-03-21 21:55:33 发布
阅读量5.2k 收藏 2
点赞数 6
分类专栏： deep learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/seamanj/article/details/92035966
版权

在这里插入图片描述

在这里插入图片描述
input 为 (N,C)维, 其中N为样本个数, C为分类数, 其中值为每个样本在某类上的得分, 注意这里不是概率, 可以为正也可以为负, 也可以大于1, 后面会经过softmax的处理, 统一变成概率的分布
target为N维, 其值为truth groud 的分类值

这个Loss就是正确得分(后面会转成概率)在所有得分所占的比重来确定的, 如果正确的概率为1, 其他都为0的话, 那么 根据上面的公式可得loss为0

然后特别特别重要的一点， 就是送入cross_entropy之前不要进行softmax归一化处理， 否则会训练不出来。因为归一化把信号变弱了， 而且你会发现cross_entropy久久不能为0, 然后可能造成logits为错误的one hot vector, 梯度消失, 参数得不到更新。这个bug耽误了我一年左右的科研时间！！！

【AI面试】分类损失横评：CrossEntropy Loss 、Balanced Cross Entropy、 Dice Loss 和 Focal Loss
钱多多先森
05-24 1735
分类损失学习汇总
【深度学习】损失函数 理解 Cross-Entropy Loss, Binary Cross-Entropy Loss
q742971636的博客
04-16 3570
文章目录1 前言2 sigmoid激活函数 与 Softmax激活函数3 Cross-Entropy Loss二分类：sigmoid激活函数+Cross-Entropy Loss多分类：softmax激活函数+Cross-Entropy Loss 一篇好文：https://gombru.github.io/2018/05/23/cross_entropy_loss/ 1 前言 计算CE Loss 之前需要加softmax层，适用于多类预测 Multi-Class Classification，类间存在竞争关
怎么理解Pytorch中CrossEntropyLoss()
m0_46306264的博客
06-04 258
crossEntroyLoss的例子，更容易理解
介绍交叉熵损失（Cross-Entropy Loss）以及交叉熵在对比学习中的应用：中英双语
阿正的梦工坊
12-13 1836
By optimizing the cross-entropy loss, the model dynamically adjusts logits to maximize the positive pair similarity while minimizing the negative pair similarity.
【漫话机器学习系列】094.交叉熵（Cross-Entropy）
IT古董
02-16 1385
在机器学习和深度学习中，交叉熵（Cross-Entropy）是一种常见的损失函数，广泛用于分类任务，特别是二分类和多分类问题。交叉熵的核心思想是衡量两个概率分布之间的差异，并通过最小化这个差异来优化模型，使预测结果尽可能接近真实分布。掌握交叉熵的概念，对优化分类模型和理解概率分布的学习过程至关重要！
交叉熵损失函数（cross-entropy loss function）原理及Pytorch代码简介
chao_shine的博客
05-07 12万+
为了更好的理解交叉熵的意义，先介绍一下相对熵的概念 1、相对熵 基本概念 相对熵又称为KL散度（Kullback–Leibler divergence），用来描述两个概率分布的差异性。假设有对同一变量xxx的q(x)q(x)q(x)和p(x)p(x)p(x)两个概率分布,那么两者之间的相对熵可由以下定义： DKL(p∥q)=∑i=1Np(xi)log⁡(p(xi)q(xi)) D_{K L...
交叉熵损失函数
qq_31244453的博客
01-07 2万+
目录 1交叉熵损失函数（Cross Entropy loss）： 1.1交叉熵损失函数公式： 1.2交叉熵损失函数推导过程： 1.3 交叉熵损失函数的特殊值 1交叉熵损失函数（Cross Entropy loss）： 1.1交叉熵损失函数公式： y是真实的标签值(正类值为1，负类值为0)，y`是预测的概率值（y·∈(0,1)）.它表征真实样本标签和预测概率之间的差值. 1.2交叉熵损失函数推导过程： 举个二分类例子，要么有打球，要么没有打球.假设打球的标签值为1，没打球的标签.
Pytorch常用的交叉熵损失函数CrossEntropyLoss() （转载学习）
weixin_44783002的博客
11-11 418
在使用pytorch深度学习框架，计算损失函数的时候经常会遇到这么一个函数： nn.CrossEntropyLoss() 该损失函数结合了nn.LogSoftmax()和nn.NLLLoss()两个函数。它在做分类（具体几类）训练的时候是非常有用的。在训练过程中，对于每个类分配权值，可选的参数权值应该是一个1D张量。当你有一个不平衡的训练集时，这是非常有用的。那么针对这个函数，下面将做详细的介绍。 什么是交叉熵？ 交叉熵主要是用来判定实际的输出与期望的输出的接近程度，为什么这么说呢，举个例子：在做分类的训
细数nn.BCELoss与nn.CrossEntropyLoss的区别
12-20
`nn.BCELoss` 和 `nn.CrossEntropyLoss` 都是PyTorch库中常见的损失函数，它们主要用于分类问题，但各自有着不同的应用场景和计算方式。这篇文章将详细探讨这两者之间的差异。 首先，`nn.BCELoss`，即二元交叉熵...
简单谈谈Cross Entropy Loss
热门推荐
时光杂货店
06-23 18万+
写在前面 分类问题和回归问题是监督学习的两大种类。 神经网络模型的效果及优化的目标是通过损失函数来定义的。 回归问题解决的是对具体数值的预测。比如房价预测、销量预测等都是回归问题。这些问题需要预测的不是一个事先定义好的类别，而是一个任意实数。解决回顾问题的神经网络一般只有一个输出节点，这个节点的输出值就是预测值。对于回归问题，常用的损失函数是均方误差( MSE，mean squared ...
交叉熵损失CrossEntropyLoss
Gefangenes的博客
06-03 1万+
这两种方法哪一个更好？
交叉熵损失函数基本概念及公式
qlkaicx的博客
02-12 8749
对于二分类问题，模型的输出通常是一个标量，表示样本属于正类的概率。因此，在二分类的交叉熵损失函数中，我们只需要考虑一个概率值，即模型预测为正类的概率。具体来说，当真实标签为1时，我们关注模型预测为正类的概率；当真实标签为0时，我们关注模型预测为负类的概率。因此，二分类的交叉熵损失函数可以表示为：其中，y 表示真实标签，取值为 0 或 1；p 表示模型预测为正类的概率。而对于多分类问题，模型的输出通常是一个向量，表示样本属于各个类别的概率。因此，在多分类的交叉熵损失函数中，我们需要考虑所有类别的概率。
大模型训练为什么选择交叉熵损失（Cross-Entropy Loss）：均方误差（MSE）和交叉熵损失的深入对比
最新发布
阿正的梦工坊
03-21 1056
本文将从数学定义、理论特性、与 MSE 的对比，以及适用于分类任务的深刻原因等方面，详细剖析交叉熵损失，并提供一些独特的洞见。
CrossEntropyLoss的理解
iwill323的博客
08-13 1081
对pytorch交叉熵的理解
交叉熵的数学原理及应用——pytorch中的CrossEntropyLoss()函数
weixin_30691871的博客
12-25 2836
分类问题中，交叉熵函数是比较常用也是比较基础的损失函数，原来就是了解，但一直搞不懂他是怎么来的？为什么交叉熵能够表征真实样本标签和预测概率之间的差值？趁着这次学习把这些概念系统学习了一下。 首先说起交叉熵，脑子里就会出现这个东西： 随后我们脑子里可能还会出现Sigmoid()这个函数: pytorch中的CrossEntropyLoss()函数实际就是先...
softmax计算loss时，注意错误：交叉熵实验
smellycat17的博客
08-25 635
以下内容来自《深度学习之Tensor Flow入门、原理与进阶实战》学习 实例描述 下面一段代码，假设有一个标签labels和一个网络输出值logits 进行一下实验： """ Created on Tue Jun 13 09:53:41 2017 @author: 代码医生 注意原作者出处 @blog：http://blog.youkuaiyun.com/lijin6249 """ import ...
交叉熵损失（Cross Entropy Loss）计算过程
藏知阁
02-04 7万+
在机器学习中（特别是分类模型），模型训练时，通常都是使用交叉熵（Cross-Entropy）作为损失进行最小化： CE(p,q)=−∑i=1Cpilog(qi)CE(p,q)=−∑i=1Cpilog(qi) 其中CC代表类别数。pipi为真实，qiqi为预测。 我们以MNIST多分类为例，通常Label会编码为One-Hot，最后一层输出会使用Softmax函数进行概率化输出，如下表所示： ...
Pytorch--新手入门，对于内置交叉熵损失函数torch.nn.CrossEntropyLoss()的了解
SHY0978的博客
09-27 4062
对于内置交叉熵损失函数torch.nn.CrossEntropyLoss()的了解
2021-01-10
m0_47757079的博客
01-10 318
torch.nn.CrossEntropyLoss()理解 问题描述： 在RNN模型中batch_size设置值超过1，torch.nn.CrossEntropyLoss()中接收两个参数input和target，死活报错，tensor维度对不上。 作用： torch.nn.CrossEntropyLoss()是nn.logSoftmax()和nn.NLLLoss()的整合,可以直接使用它来替换网络中的这两个操作。 loss = torch.nn.CrossEntropyLoss() output = lo
crossentropyloss大小
01-03
### PyTorch 中 CrossEntropyLoss 的计算方法及其输出值含义 #### 定义与作用 `nn.CrossEntropyLoss()` 是一种用于分类任务的损失函数，在多类分类问题中尤为常见。该函数不仅能够衡量预测概率分布与真实标签之间的差异，还内置了 Softmax 激活层的功能[^4]。 #### 计算过程详解 具体来说，对于每一个样本 \(i\)，假设共有 \(C\) 类，则 `CrossEntropyLoss` 可表示为： \[ L(i)=− \sum_{c=1}^{C}{y_{ic}\cdot log(\hat{p}_{ic})} \] 其中， - \(y_{ic}\) 表示第 i 个样本属于类别 c 的 ground truth (0 或者 1)，当采用 one-hot 编码时； - \(\hat{p}_{ic}\) 则代表模型对该样本属于类别 c 的预测概率； 此公式意味着如果某个特定类别的真值为 1 (\(y_{ic}=1\)) 而对应的预测概率较低的话，那么整个表达式的负对数值将会很大，从而使得最终得到的整体误差增大。反之亦然。 值得注意的是，在实际应用过程中并不需要显式调用 Softmax 函数来转换 logits 值，因为 `nn.CrossEntropyLoss()` 已经包含了这一操作。 #### 输出解释 返回的结果是一个标量张量（scalar tensor），代表着所有训练样例平均后的总损失。这个数值越低越好，因为它表明我们的模型所给出的概率分布更加接近真实的标签分布。 为了更直观理解上述理论描述，下面提供了一个简单的 Python 实现例子: ```python import torch import torch.nn as nn # 创建模拟数据集 output = torch.tensor([[2.0, 1.0, 0.1], [0.5, 2.0, 0.3]], requires_grad=True) target = torch.tensor([0, 1]) # 初始化交叉熵损失对象 criterion = nn.CrossEntropyLoss() # 计算并打印损失值 loss = criterion(output, target) print(f'Loss value is {loss.item()}') ``` 这段代码创建了一组假定来自神经网络最后一层未经过激活函数变换过的输出以及相应的目标索引形式的真实标签，并通过实例化 `nn.CrossEntropyLoss()` 对象来进行损失评估。最后输出的就是这批数据上的平均损失得分[^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值