pytorch实现加权交叉熵

原创 已于 2023-06-20 17:10:40 修改 · 868 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #深度学习

于 2023-03-29 10:44:06 首次发布
文章展示了在PyTorch中如何实现交叉熵损失函数以及一种自定义的加权交叉熵损失函数（MyCELoss），用于语义分割任务。加权交叉熵考虑了样本的难易程度，并采用了在线难例挖掘策略（OhemCELoss）。
  • 先实现交叉熵并验证
import torch
import torch.nn as nn
import torch.nn.functional as F

# bchw
logits1 = torch.rand((2,3,2,2), dtype=float, requires_grad=True)
# bhw
label1 = torch.tensor([1,2,1,1,2,0,2,0]).view(2,2,2)
logits2 = logits1.clone()
label2 = torch.tensor([1,2,
最低0.47元/天 解锁文章
Pytorch 加权交叉熵实现分析
pain_gain0的博客
06-09 9027
此文不涉及公式。 假设模型对输入图像数据（1(batch size) * 1 (channels) * 3 (height) * 3 (width)）的分割输出结果为1 * 2 （只有两类，前景，背景）* 3 （height）* 3 (width)，ground truth为 target ( 1 (batch size) * 3 * 3)。 假设模型的分割结果为input, ground truth 为target。 根据文献[1]，计算交叉熵损失有两中方式，一种是用F.nll_loss()；.
关于pytorch交叉熵损失函数使用weight参数来平衡各个类别，即加权交叉熵损失函数
cdd_box的博客
04-12 6177
torch.nn.CrossEntropyLoss(weight, reduction=“mean”)的计算方式和一般做法不一样，进行加权计算后，不是直接loss除以batch数量，而是batch中每个数据的标签对应的类别权重 把batch个权重加起来作为除数，被除数是loss。
pytorch中交叉熵损失(nn.CrossEntropyLoss())的计算过程详解
09-18
今天小编就为大家分享一篇pytorch中交叉熵损失(nn.CrossEntropyLoss())的计算过程详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
关于pytorch 交叉熵的个人理解
StarLib的博客
01-19 818
title: pytorch 交叉熵的个人理解 date: 2020-01-19 11:54:06 tags:machine learning 关于pytorch 交叉熵的个人理解 最近，查pytorch的官方文档。里面关于交叉熵部分的公式描述不太理解，查了一些资料，简单的写了下公式。大概理解了一下，不过也不知道正确与否。 官方文档描写如下： This criterion expects a...
pytorch中交叉熵函数torch.nn.CrossEntropyLoss（）怎么加入权重
lidichengfo0412的博客
07-30 1万+
关于交叉熵函数torch.nn.CrossEntropyLoss的基本用法可参考https://blog.youkuaiyun.com/zziahgf/article/details/80196376。 那么如何在交叉熵函数中添加自定义的各类别的权重呢？定义参数weight即可，其中参数的内容要为tensor类型，而且要把dtype类型定义为float。用法为： ### 我的类别数为12 criterion ...
PyTorch：用交叉熵优化多分类问题
weixin_62637793的博客
11-17 924
问题模型 代码实现 import torch import os import torchvision import numpy as np import torch.nn as nn import torch.nn.functional as F import torchvision.datasets as datasets from torchvision import transforms batch_size=200 learning_rate=0.01 epochs=10 # 加载
pytorch空间加权交叉熵损失函数
09-14
下面是一个简单的示例代码，展示了如何使用PyTorch实现空间加权交叉熵损失函数： ```python import torch import torch.nn as nn class SpatialWeightedCrossEntropyLoss(nn.Module): def __init__(self, weight=...
pytorch之交叉熵（笔记四）
影子
05-08 414
师傅说过一句话：线性回归用二次代价函数，分类使用交叉熵。 通过一个例子观察一下： 通过观察发现，输入是0.82的比输入是0.98的收敛的更快，为什么呢？为我们通过sigmod函数观察一下。 原因是在0.98的时候收敛的比较平缓，因为斜率比较小，0.82的时候斜率大，收敛的就比较快。 交叉熵的概念 交叉熵和二次代价函数对比。 二次代价函数：代码请参考（我的博客pytorch之mnist手写数字识别（笔记三））：https://mp.youkuaiyun.com/editor/html/11..
pytorch weighted_and_neg_topk_cross_entropy 加权的负权重topk交叉熵损失
ONE_SIX_MIX的专栏
03-23 427
相比上面文章里改的的loss，加入topk 负类型测试，当负权重的类别在预测类别前 K 的高概率类别时，才会传递梯度，否则会跳过。一种 用于GPT模型 训练的 包含加权 和 数据增强 和 损失方法 的设计。根据这段时间的NLG经验，继续改进损失函数。主要用于以下文章所写的 NLP 增强管道。
pytorch的交叉熵loss分权重nn.CrossEntropyLoss——训练集各类数量不均衡的解决——样本数量不平衡
weixin_41529093的博客
08-15 5847
仅作为记录，大佬请跳过。 感谢大佬师兄的提示，对网络的loss对各类设置权重（只用一行代码），解决训练集各类数量不均衡的问题（0类：49w，1类：7w；4类：155w）；（测试集的数据各类可以不均衡） 代码 import glob data_dir = '/Data4T/dataset_her2/dataset_her2_server_five-class_new_v2' imglist_dir_0=data_dir+'/train/0/';imglist_dir_1=data_dir+'/train/1/
PyTorch 交叉熵损失函数内部原理简单实现
qq_43148788的博客
12-05 731
PyTorch 交叉熵损失函数内部原理简单实现
交叉熵损失函数（cross-entropy loss function）原理及Pytorch代码简介
热门推荐
chao_shine的博客
05-07 14万+
为了更好的理解交叉熵的意义，先介绍一下相对熵的概念 1、相对熵 基本概念 相对熵又称为KL散度（Kullback–Leibler divergence），用来描述两个概率分布的差异性。假设有对同一变量xxx的q(x)q(x)q(x)和p(x)p(x)p(x)两个概率分布,那么两者之间的相对熵可由以下定义： DKL(p∥q)=∑i=1Np(xi)log⁡(p(xi)q(xi)) D_{K L...
pytorch中的交叉熵nn.CrossEntropyLoss()
LifeBackwards的专栏
12-17 2422
引言： 在使用pytorch中的损失函数时，经常会使用到： nn.CrossEntropyLoss() 该损失函数整合了nn.LogSoftmax()和nn.NLLLoss()，常用于训练分类任务。特别是在神经网络做分类问题时，经常使用交叉熵作为损失函数，此外，由于交叉熵涉及到计算每个类别的概率，所以交叉熵几乎每次都和sigmoid(或softmax)函数一起出现。 我们用神经网络最后一层输出的情况，来看一眼整个模型预测、获得损失和学习的流程： 神经网络最后一层得到每个类别的得分scores（
交叉熵损失函数权重计算
x19979的博客
07-02 4578
交叉熵损失函数 torch.nn.CrossEntropyLoss(weight=None, size_average=None, ignore_index=- 100, reduce=None, reduction='elementwise_mean') weight为每个类别的loss设置权重，常用于类别不均衡的问题，weight的数据类型必须是float的tensor,其个数要与分类的类别个数一致（其他参数不介绍） weight的计算方法经常使用median frequency balanci
交叉熵损失及Pytorch实现中的“坑”
开飞机的小毛驴儿
01-13 1676
参考资料1：损失函数｜交叉熵损失函数 - 知乎 以图像分类任务为例，假设有两个模型对输入图像中的动物类别进行预测，预测类别可能为猫、狗和猪。假设两个模型均是通过sigmoid或者softmax的方式输出每个预测结果的概率值。 模型1的预测结果如下： 模型2的预测结果如下： 对比模型1和模型2的预测结果，可以看出模型1对样本1和样本2以非常微弱的优势判断正确，对于样本3则彻底错误；而模型2则对样本1和样本2的判断非常准确，对于样本3判断错误，但是错误并非特别离谱。 如果直接使用classi.
CrossEntropy（交叉熵损失函数pytorch）
xiaziqiqi的博客
07-03 3876
weight， 为一维张量，具体的大小为M，M为样本的标签数量，代表赋予的类别的权重ignore_index，int类型数据，用于指定忽略某个类别的索引。默认为 -100，表示不忽略任何类别。reduction：指定损失函数的计算方式。可选项包括：‘none’（不返回每个样本的损失值）、‘mean’（返回每个样本的平均损失值）、‘sum’（返回每个样本的总损失值）。N，代表了N个样本LiL_{i}Li​，为某个样本的对应损失函数的值yiy_{i}yi​。
深度学习（Pytorch）：Softmax回归
努力！加油！！
06-03 3127
笔记
信息熵的计算公式_信息熵、条件熵、联合熵、互信息、相对熵、交叉熵
weixin_39628945的博客
12-04 5377
点击上方“机器学习与统计学”，选择“置顶”公众号重磅干货，第一时间送达信息熵、联合熵、条件熵、互信息的关系1、信息量信息量是通过概率来定义的：如果一件事情的概率很低，那么它的信息量就很大；反之，如果一件事情的概率很高，它的信息量就很低。简而言之，概率小的事件信息量大，因此信息量可以定义如下：下面解释为什么要取倒数再去对数。(1)先取倒数： 这件事表示：“信息量”和“概率”呈反比；(2)...
二分类交叉熵以及加权交叉熵
最新发布
Jerry的博客
04-02 2113
对于单个样本，二分类交叉熵损失的公式为：BCE=−[ylog⁡(p)+(1−y)log⁡(1−p)] \text{BCE} = - \left[ y \log(p) + (1 - y) \log(1 - p) \right] BCE=−[ylog(p)+(1−y)log(1−p)]在机器学习中，预测概率 ppp 通常通过 sigmoid 函数计算得出：p=σ(z)=11+e−z p = \sigma(z) = \frac{1}{1 + e^{-z}} p=σ(z)=1+e−z1​我们的目标是计算损失函数 B
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

刀么克瑟拉莫

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值